Математики рассчитали, когда ИИ станет опасным для человека
В последние годы большие языковые модели, такие как ChatGPT, демонстрируют впечатляющие возможности. Они могут решать сложные математические задачи, успешно проходить экзамены и даже предлагать способы урегулирования конфликтов между людьми. Однако, несмотря на эти достижения, генеративный ИИ вызывает определенные опасения. Пользователи нередко сталкиваются с некорректными ответами или потенциально опасными рекомендациями.
Когда-то полезный ИИ может превратиться в источник проблем. Ученые из Университета Джорджа Вашингтона смогли предсказать этот момент с помощью математической формулы. Их исследование раскрывает, как вычислить критическую точку перехода ИИ от надежного помощника к неуправляемому «мистеру Хайду».
По словам профессора Нила Джонсона, «переломный момент» наступает, когда ИИ перегружается информацией, теряет фокус и начинает выдавать ошибочные или выдуманные данные — так называемые галлюцинации. Разработанная формула, основанная на скалярных произведениях векторов, учитывает содержание запросов и особенности обучения модели, позволяя точно определить шаг, на котором происходит сбой.
Ученые также предложили практические меры для предотвращения подобных сбоев. Например, использование более точных и релевантных слов в запросах помогает ИИ сохранять концентрацию. При этом вежливость в общении с чат-ботом, как выяснилось, не влияет на качество его ответов.
Таким образом, исследование ученых из Университета Джорджа Вашингтона открывает новые перспективы для management* больших языковых моделей и их безопасного использования в будущем.
* Компания Meta (Facebook и Instagram) признана в России экстремистской и запрещена.
Подпишитесь на новости в телеграм: https://t.me/itnewsros