Почему ИИ плохо понимает намерения человека: новое исследование

Современные ИИ-ассистенты уже умеют писать тексты, помогать с кодом, пересказывать документы и отвечать на сложные вопросы. Но у них всё ещё есть слабое место: они плохо понимают намерения человека, его сомнения и скрытый контекст во время совместной работы.

Модель может выполнить инструкцию, но не всегда понимает, зачем пользователь её дал. Может ответить на вопрос, но не заметить, что человек уже запутался. Может уверенно продолжить диалог, хотя у неё и пользователя давно разные представления о задаче.

Новое исследование ALMANAC как раз посвящено этой проблеме: можно ли научить ИИ лучше моделировать не только действия человека, но и его внутреннее состояние — цели, сомнения, ожидания и понимание ситуации.

Кратко

• ALMANAC — это набор данных для изучения того, как ИИ может понимать действия, намерения и ментальные модели человека во время совместной работы.
• В основе исследования лежит задача Map Task: один участник объясняет маршрут на карте, а второй пытается его воспроизвести.
• Исследователи фиксировали не только действия и сообщения участников, но и их внутренние объяснения: что они думали, какую цель преследовали и как оценивали понимание партнёра.
• Модели лучше предсказывают внешние действия человека, чем его внутреннюю логику.
• Главный вывод: для создания действительно полезных ИИ-напарников нужны не только большие модели, но и более качественные данные о человеческом взаимодействии.

Что такое ментальная модель простыми словами

Ментальная модель — это внутреннее представление человека о том, как устроена ситуация, задача или действия другого участника.

Проще говоря, это «карта» происходящего в голове человека.

Например, два человека могут обсуждать один и тот же проект, использовать одни и те же слова, но понимать задачу по-разному. Один думает, что нужно быстро исправить конкретную ошибку. Второй считает, что речь идёт о переделке ключевой задачи. Формально они говорят об одном, но их ментальные модели не совпадают.

В обычном человеческом общении мы постоянно пытаемся сверять такие модели:

• понял ли собеседник, что я имею в виду;
• совпадает ли наша цель;
• почему он сделал именно это действие;
• он ошибся или просто видит ситуацию иначе;
• нужно ли объяснить подробнее или он уже разобрался.

Для ИИ это особенно важно. Если ассистент должен быть не просто генератором ответов, а полноценным помощником, ему нужно понимать не только текст запроса, но и то, какую задачу человек на самом деле пытается решить.

Почему ИИ плохо понимает намерения пользователя

Большие языковые модели хорошо работают с текстом. Они обучены предсказывать продолжение, отвечать на вопросы, находить закономерности и подстраиваться под контекст. Поэтому они часто выглядят как полноценные собеседники.

Но совместная работа устроена сложнее, чем схема «вопрос — ответ».

Когда два человека решают задачу вместе, они не просто обмениваются фразами. Они постоянно уточняют смысл, сверяют цели, замечают сомнения, исправляют недопонимания и адаптируются друг к другу.

Хороший напарник работает не только со словами. Он пытается понять состояние другого человека. ИИ пока справляется с этим хуже. Он видит текст, команды, действия и историю диалога, но не имеет прямого доступа к тому, что человек думал в момент принятия решения. Поэтому модель может выглядеть умной, но оставаться довольно слабым партнёром там, где важна тонкая координация.

Простой пример: пользователь просит помочь с кодом, но неправильно формулирует проблему. Хороший человеческий специалист может заметить, что вопрос задан не совсем по той области задачи, и уточнить исходную цель. Модель же часто просто отвечает на буквальный запрос — даже если этот запрос уводит решение в сторону.

Именно поэтому ИИ может быть очень полезным инструментом, но всё ещё не всегда похож на настоящего напарника.

Что такое ALMANAC

ALMANAC — это исследовательский набор данных, который пытается описать не только внешнее поведение людей, но и их внутреннюю логику во время совместной задачи.

Полное название научной работы: Humans’ ALMANAC: A Human Collaboration Dataset of Action-Level Mental Model Annotations for Agent Collaboration.

Смысл исследования в том, чтобы дать ИИ больше данных о том, как люди реально взаимодействуют друг с другом:

• что они делают;
• что пишут;
• что пытаются понять;
• какие цели держат в голове;
• как оценивают действия партнёра;
• где возникает недопонимание;
• почему выбирают то или иное действие.

Обычные датасеты для ИИ часто фиксируют только результат: вопрос, ответ, действие, правильный вывод. Но в них редко видно, почему человек поступил именно так.

ALMANAC интересен тем, что добавляет к действиям слой ментальных моделей. То есть не просто «человек написал сообщение» или «человек провёл линию», а что он думал в этот момент и как понимал ситуацию.

Как устроен эксперимент с картами

Для исследования использовали методику Map Task — задачу с картами. В ней участвуют два человека.

Один играет роль проводника. У него есть карта с маршрутом. Второй — последователь. У него похожая карта, но без маршрута. Их задача — через чат договориться так, чтобы последователь смог нарисовать правильный путь.

На первый взгляд всё просто: один объясняет, другой выполняет. Но есть важный нюанс: карты участников могут немного отличаться. Например, один и тот же объект может находиться в другом месте или восприниматься участниками по-разному. В результате люди думают, что говорят об одном и том же, но на самом деле их представления расходятся.

Это хорошо показывает проблему совместной работы: конфликт часто возникает не потому, что кто-то плохо объясняет, а потому что у участников разные ментальные модели ситуации.

В реальной жизни это происходит постоянно. В проектировании, разработке, менеджменте, обучении, медицине, аналитике — где угодно. Люди используют одни и те же слова, но вкладывают в них разный контекст.

Чем ALMANAC отличается от обычных датасетов

Большинство данных, на которых обучают ИИ, показывает итоговое поведение:

• какой был вопрос;
• какой был ответ;
• какое действие сделал человек;
• какой результат считается правильным.

Но такие данные плохо показывают сам процесс мышления. ALMANAC пытается добавить именно этот недостающий слой. Исследователи фиксировали не только сообщения и действия участников, но и их внутренние объяснения:

• какую цель человек преследовал;
• как он понимал текущую ситуацию;
• считал ли, что партнёр его понял;
• где видел ошибку;
• почему выбрал именно это действие;
• как представлял себе состояние другого участника.

Для обучения ИИ это принципиально важно. Если мы хотим, чтобы модель была не просто исполнителем команд, а ИИ-напарником, ей нужны данные не только о действиях, но и о причинах этих действий. Иначе она будет видеть только поверхность: человек написал, нажал, исправил, подтвердил. Но не будет понимать, что стояло за этим действием.

Что показало исследование

Главный результат можно сформулировать просто: ИИ лучше понимает поведение, чем намерения.

Модель может сравнительно неплохо предсказать, что человек сделает дальше: напишет уточнение, удалит ошибочную линию, продолжит маршрут или подтвердит инструкцию. Но когда нужно понять, почему человек это сделал, задача становится гораздо сложнее.

Важное различие.

Предсказать действие — значит увидеть внешнюю закономерность.
Понять намерение — значит восстановить внутреннюю модель человека.

Современные ИИ-системы пока гораздо увереннее работают с первым, чем со вторым.

ИИ лучше понимает общую цель, чем личную логику человека

Ещё один важный вывод: модели лучше справляются с пониманием общей задачи команды, чем с индивидуальным состоянием конкретного участника.

Например, если нужно определить, что пара людей в целом пытается построить маршрут, модель может справиться достаточно уверенно. Общая цель часто видна из переписки и действий.

Но если нужно понять, что именно думает один участник, где он сомневается, какое предположение держит в голове или что не говорит вслух, качество падает. А это как раз один из ключевых навыков хорошего напарника.

Человек-коллега часто понимает не только формальную задачу, но и то, как другой человек к ней пришёл, где он мог ошибиться и почему. ИИ пока гораздо хуже восстанавливает такую индивидуальную логику.

Почему размер модели не всегда решает

Интуитивно кажется: если модель плохо понимает человека, нужно просто сделать её больше. Больше параметров, больше данных, больше вычислений — и проблема исчезнет. Но исследования вроде ALMANAC показывают, что всё не так просто.

Крупные универсальные модели действительно сильны в языке, рассуждениях и обобщении. Но для понимания конкретных типов взаимодействия могут оказаться важнее специализированные данные и дообучение.

Иначе говоря, проблема не только в мощности.

Если модель никогда нормально не видела данных о том, как люди координируют действия, ошибаются, уточняют цели и строят представление о партнёре, ей трудно стать хорошим ИИ-напарником. Поэтому следующий скачок в развитии ИИ может быть связан не только с увеличением моделей, но и с качеством данных о человеческом взаимодействии.

Почему это важно для будущих ИИ-ассистентов

Сегодня многие ИИ-инструменты работают как умная поисковая строка или очень продвинутый автодополнитель. Пользователь формулирует запрос, модель отвечает.

Но следующий уровень — это ИИ, который умеет работать в режиме настоящего сотрудничества. Такой ассистент должен понимать не только фразу, но и контекст человека:

• уверен пользователь или сомневается;
• понял он объяснение или просто согласился;
• изменилась ли его цель в процессе;
• не противоречит ли текущий запрос исходной задаче;
• не разошлись ли представления пользователя и модели;
• не стоит ли задать уточняющий вопрос до того, как давать ответ.

Это особенно важно в сложных областях: программировании, обучении, аналитике, инженерии, медицине, юридических задачах, управлении проектами. В таких сценариях плохое понимание намерения может приводить не просто к неудобному ответу, а к неправильному решению.

Пример: ИИ как напарник в программировании

Представим, что разработчик просит ИИ исправить ошибку в коде. Формально модель может найти баг и предложить правку. Но хороший напарник должен сделать больше.

Он должен понять:

• какую задачу на самом деле решает разработчик;
• почему текущий код был написан именно так;
• какие ограничения есть в проекте;
• не сломает ли исправление соседнюю логику;
• не является ли вопрос симптомом более глубокой архитектурной проблемы.

Если ИИ видит только текст запроса, он может дать локально правильный, но системно вредный ответ.

Например, пользователь просит починить метод (кусок кода), а реальная проблема находится не в методе, а в том, как в него передаются данные. Человек-специалист может заметить это и сказать: «Похоже, ты лечишь симптом, а не причину». Модель без понимания контекста часто просто исправит ближайший видимый фрагмент.

Вот почему понимание намерений пользователя важно не меньше, чем способность генерировать правильный ответ.

Что это значит для ИИ-агентов

Тема ментальных моделей особенно важна для ИИ-агентов. Обычный чат-бот в основном отвечает на запрос. Агент же должен планировать действия, использовать инструменты, выполнять цепочку шагов и взаимодействовать с пользователем в процессе.

Если агент плохо понимает намерение человека, он может формально выполнить команду, но прийти не туда. Например:

• пользователь просит подготовить отчёт, а агент не уточняет формат и аудиторию;
• пользователь просит найти ошибки, а агент исправляет стиль вместо логики;
• пользователь просит сделать быстрее, а агент оптимизирует не тот участок;
• пользователь просит помочь с письмом, а агент не понимает скрытый конфликт в ситуации.

Для ИИ-агентов недостаточно просто быть умными. Им нужно уметь сверять свою модель задачи с моделью пользователя. Иначе они будут не помощниками, а очень энергичными исполнителями, которые уверенно бегут не в ту сторону.

Ограничения исследования

Важно не превращать эту тему в очередной хайп про “ИИ, который читает мысли”. Речь не о телепатии и не о магическом понимании человека.

ALMANAC — это полезный исследовательский шаг, но у него есть ограничения.

Данные о мыслях могут быть неточными

Когда людей просят объяснить, что они думали в момент действия, они не всегда точно воспроизводят реальный процесс.

Человек может рационализировать своё поведение задним числом. Мы часто придумываем логичное объяснение уже после того, как сделали выбор. Поэтому данные о внутреннем состоянии полезны, но не являются абсолютно точным «снимком мышления».

Масштаб ограничен

Исследовательские датасеты такого типа обычно намного меньше, чем массивы данных, на которых обучают большие языковые модели.

Это скорее лабораторный полигон для проверки гипотез, чем готовая база для создания универсального ИИ-напарника.

Задача с картами не равна реальной работе

Map Task удобен для эксперимента, потому что его легко контролировать и анализировать. Но реальная совместная работа сложнее.

В программировании, бизнесе, медицине или образовании больше контекста, больше неопределённости и больше последствий ошибки. Поэтому выводы из задачи с картами нельзя автоматически переносить на все области.

Что это значит для пользователей

Для обычного пользователя главный вывод простой: не стоит ждать, что ИИ сам поймёт весь скрытый контекст задачи. Даже сильная модель может не увидеть, что вы имеете в виду, если это не проговорено явно.

Поэтому при работе с ИИ всё ещё важно:

• описывать исходную цель;
• давать контекст;
• указывать ограничения;
• объяснять, какой результат нужен;
• просить модель задавать уточняющие вопросы;
• проверять выводы, особенно в важных задачах.

ИИ может быть полезным помощником, но пока он не является полноценным напарником, который стабильно понимает ваши намерения без объяснений.

Что это значит для разработчиков ИИ-систем

Для разработчиков ИИ-продуктов вывод глубже: качество ассистента зависит не только от модели, но и от проектирования взаимодействия. Если система должна помогать человеку в сложной работе, ей нужно уметь:

• отслеживать цель пользователя;
• хранить контекст задачи;
• замечать противоречия;
• определять моменты неопределённости;
• задавать уточняющие вопросы;
• объяснять собственную логику;
• сверять свою «карту задачи» с пользовательской.

То есть хороший ИИ-продукт — это не просто доступ к большой модели через красивый интерфейс. Это система, которая умеет поддерживать совместное понимание задачи.

FAQ

Главный вывод

ALMANAC показывает важную вещь: проблема современных ИИ-ассистентов не только в нехватке мощности, памяти или параметров.

Проблема в том, что модели всё ещё плохо понимают человеческий процесс мышления. Они могут убедительно говорить. Могут решать задачи. Могут объяснять, спорить, писать код и изображать эксперта. Но быть настоящим напарником — это другой уровень.

Для этого нужно понимать не только слова, но и намерение за словами. Не только действие, но и причину. Не только текущую команду, но и состояние человека, который эту команду даёт.

Возможно, следующий важный скачок в развитии ИИ будет связан не с тем, что модели станут ещё крупнее и быстрее. А с тем, что они начнут лучше понимать, где именно человек и машина перестали понимать друг друга.