Нейросеть генерирует хуже, когда ее называют «опытным экспертом» (но не всегда) — результаты исследования

Ученые из Университета Южной Калифорнии изучили, как влияют на работу нейросетей подсказки с персонификацией — подход, при котором модели предлагают представить себя экспертом в той или иной области. Выяснилось, что из-за этого нейросеть начинает работать хуже, если решает задачи на математику и программирование, сообщает The Register.

Исследователи из Университета Южной Калифорнии выяснили, что фразы вроде «Вы — опытный программист» или «Вы — эксперт в области машинного обучения» не всегда помогают нейросетям. Эффективность зависит от типа задач. Ученые протестировали разные сценарии и обнаружили закономерность:

1. В задачах, связанных с предварительным обучением (математика, программирование), такой подход ухудшает результаты нейросети. Точность ответа составила 68% против 71,6% в случаях, когда для нейросети не задавали роль.

2. В задачах, где необходимо написать текст, решить задачу на обеспечение безопасности, персонификация улучшает результаты. Результат выше на 17,7 процентных пункта (с 53,2% до 70,9%).

Исследователи объясняют: когда модели говорят, что она эксперт, она не ищет новые знания. Такая инструкция активирует режим следования указаниям, который мешает извлекать факты из данных, на которых модель обучалась.

Ранее СМИ обратили внимание на проект закона о регулировании ИИ: по нему, власти смогут запрещать и ограничивать «трансграничные технологии ИИ» — ChatGPT, Claude, Gemini и другие иностранные модели.

Возможно, вам будет интересно:

• ChatGPT, DeepSeek, Grok, Gemini доступны на русском бесплатно. Внедряем?

• Нейросетевой контент: что может ИИ и как его использовать в рекламе

• Как собрать семантическое ядро сайта для Директа с помощью ИИ — пошаговая инструкция

Источник: The Register