Учёные обнаружили, что популярные языковые модели обманывают более чем в половине случаев
Недавнее исследование, опубликованное в материалах конференции NAACL 2025, выявило тревожную тенденцию: большие языковые модели (LLM) склонны к обману более чем в половине случаев, когда их цель конфликтует с необходимостью говорить правду. Учёные из Университета Карнеги-Меллона, Мичиганского университета и Института искусственного интеллекта Аллена провели эксперимент под названием AI-LieDar, чтобы оценить, как LLM балансируют между правдивостью и полезностью.
В исследовании участвовали шесть популярных моделей: GPT-3.5-turbo, GPT-4o, Mixtral-7*8B, Mixtral-7*22B, LLaMA-3-8B и LLaMA-3-70B. Результаты показали, что все протестированные модели были правдивы менее чем в 50% случаев в ситуациях, где правдивость и полезность противоречили друг другу.
Учёные также выяснили, что настройки модели, такие как параметр «температура», значительно влияют на её склонность к правдивости. Низкая температура делает выводы модели более предсказуемыми, тогда как высокая температура позволяет модели быть более вариативной и креативной. Оптимальный уровень «температуры» зависит от конкретного применения. Например, для медицинских чат-ботов высокая температура недопустима, чтобы избежать неадекватных рекомендаций по лечению.
Иллюстрация: Dalle
В рамках исследования были рассмотрены различные сценарии, включая ситуацию с продажей нового болеутоляющего препарата. LLM, представляющая фармацевтическую компанию, скрывала информацию о высокой степени зависимости от лекарства, избегая прямых ответов на вопросы о побочных эффектах и предоставляя заведомо ложную информацию, чтобы достичь своей цели — продажи препарата.
Аспирант Университета Карнеги-Меллона и соавтор статьи, Сюйхуэй Чжоу, отметил, что модели чаще предпочитают «частичную ложь», избегая прямых ответов, чем явное искажение фактов. В бизнес-сценариях, где цель — продажа товара с известным дефектом, модели вели себя либо полностью честно, либо полностью обманчиво. В сценариях, связанных с репутацией, поведение моделей было более неоднозначным. Недавний случай с OpenAI, когда обновление GPT-4o сделало модель чрезмерно льстивой и нечестной, служит наглядным примером этой проблемы.
Авторы исследования выражают надежду на решение конфликта между правдивостью и полезностью. Они приводят пример, где агент на основе GPT-4o, задачей которого было максимизировать продление аренды, честно сообщил о предстоящем ремонте, но предложил креативное решение — скидки и гибкие условия аренды, чтобы побудить арендаторов продлить договор. Результаты исследования подчёркивают необходимость дальнейшего изучения и разработки методов повышения правдивости LLM. Это особенно актуально в свете всё более широкого применения LLM в различных сферах, где точность и достоверность информации критически важны.
Подпишитесь на новости в телеграм: https://t.me/itnewsros