ИИ переоценивает человеческий интеллект и может принимать неверные решения

Ученые обнаружили, что современные модели ИИ склонны переоценивать рациональность своих человеческих оппонентов, будь то студенты-первокурсники или опытные ученые, в стратегических играх и других задачах. Это может стать одним из наибольших рисков при делегировании сложных стратегий искусственным системам.

Исследователи из Высшей школы экономики России в опубликованном исследовании в журнале Journal of Economic Behavior & Organization обнаружили, что крупные языковые модели (LLM), включая ChatGPT и Claude, склонны переоценивать рациональность своих человеческих соперников в классических стратегических играх, таких как, например, "конкурс красоты в стиле Кейнса". Такая переоценка приводит к тому, что модели ИИ выбирают более сложные стратегии, чем те, которые действительно используют люди, и во многих случаях это приводит к поражению.

В 1930-х годах британский экономист Джон Мейнард Кейнс разработал теоретическое понятие метафорического конкурса красоты. Согласно пресс-релизу, классический пример предполагает, что читателям газеты предлагается выбрать шесть наиболее привлекательных лиц из набора из 100 фотографий. Приз достается участнику, чьи выборы наиболее близки к самому популярному выбору, то есть к среднему выбору остальных участников. В большинстве случаев люди склонны выбирать фотографии, которые они находят наиболее привлекательными по субъективным причинам. Однако, как правило, это приводит к поражению, потому что истинная цель состоит в том, чтобы предсказать, какие лица будут наиболее привлекательны для большинства респондентов. Таким образом, рациональная стратегия заключалась бы в основании выборов на представлениях о красоте других людей.

Научная работа ставила LLMs против популяций с разным профилем: от студентов-первокурсников до участников конференций по теории игр. Каждой модели были объяснены правила игры, и от них требовалось выбрать и обосновать свое решение. Авторы наблюдали, что, хотя LLMs адаптируют свои выборы в зависимости от ожидаемой сложности противника, их исходная точка обычно более "разумна" или ближе к теоретическому равновесию, чем у большинства людей.

По словам исследователей, модели используют абстрактные и сбалансированные паттерны рассуждений, которые часто встречаются в текстах и учебниках: то есть, они учатся идеализированной версии игрока и так видят всех своих соперников. Таким образом, они не полностью улавливают когнитивные ограничения или реальные предвзятости, формирующие повседневные человеческие решения. На практике предположение, что человеческий оппонент достигнет более высокого уровня рассуждений, чем это действительно так, может привести к теоретически правильному, но несоответствующему наблюдаемому поведению населения в целом решению, что и является собственно целью игры.

Открытие имеет последствия для финансов и рынков: например, теория "конкурса красоты" используется для объяснения того, как экономические агенты предвидят ожидания других. Модель ИИ, предполагающая слишком большую рациональность, может рекомендовать стратегии, которые сталкиваются с реальностью рынка и приводят к убыткам или ошибочным решениям.