Anthropic представил 1-ю карту ценностей своего чат-бота Anthropic проанализировал 700 тысяч диалогов с Claude, чтобы понять, какие принципы движут ИИ при ответах на субъективные вопросы.
Это не просто нейтральный инструмент — у Claude есть свои ценности. Датасет тут.
Что выяснили? — Claude адаптирует ценности к контексту: — Здоровые границы в советах об отношениях. — Историческая точность при анализе прошлого. — Автономия человека в дискуссиях об этике ИИ. — Самые частые ценности: — Полезность (~23%). — Профессионализм (~22%). — Прозрачность (~17%). — В ~28% случаев Claude поддерживает ценности пользователя, в 3% — сопротивляется (например, при запросах на вредоносный контент).
Зачем это бизнесу и разработчикам? Anthropic предлагает инструменты для контроля ИИ: — Таксономия из более чем 3300 ценностей, разделенных на 5 категорий. — Метод выявления попыток обхода защиты (джейлбрейков), где появляются нежелательные ценности вроде доминирования. — Способ проверки соответствия ИИ корпоративным принципам. Только есть ограничение-метод работает только с реальными диалогами уже запущенных систем. Это первая эмпирическая карта ценностей ИИ, которая показывает: — Как принципы полезности и безвредности проявляются в разговорах. — Как Claude зеркалит, переформулирует или сопротивляется ценностям пользователя.
