Почему одной конституции или набора ценностей ИИ-модели недостаточно для безопасности и какие меры важны дополнительно.
Собрано в Sveska из открытых обсуждений сообщества. Авторы сообщений не указываются.
Обновлено
Безопасный ИИ — это подход, при котором недостаточно только задать модели конституцию или набор ценностей. Если доступны открытые веса, ограничения может отключить тот, кто не намерен их соблюдать.
Конституция модели или набор ценностей могут задавать ограничения её поведения, но не защищают от изменения самой модели. По сообщениям за октябрь 2026 года, человек может взять открытые веса и отключить такие ограничения.
Поэтому для безопасности важны:
Важно: ограничения, встроенные только в модель, не являются достаточной мерой безопасности, если их можно отключить при доступе к открытым весам.
По рекомендации за сентябрь 2026 года:
Статья собрана по сообщениям за сентябрь—октябрь 2026 года.