Исследование Columbia Journalism Review показало, что сервисы поиска с использованием искусственного интеллекта вводят пользователей в заблуждение и игнорируют просьбы издателей об исключении.
Новое исследование из центра цифрового журнализма Tow Center при Колумбийском университете выявило серьезные проблемы с точностью моделей искусственного интеллекта, используемых для поиска новостей. В ходе исследования были протестированы восемь AI-интегрированных инструментов поиска с функциональностью реального времени, и было обнаружено, что AI-модели неправильно ответили более чем на 60% запросов о новостных источниках.
Исследователи Клаудия Язвинска и Айсварья Чандрасекар отметили в своем отчете, что примерно четверть американцев теперь используют AI-модели в качестве альтернативы традиционным поисковым системам. Это вызывает серьезные опасения по поводу надежности, учитывая значительную частоту ошибок, обнаруженную в ходе исследования.
Средства тестирования отличались заметно. Модель Perplexity предоставила неправильную информацию в 37% запросов, ChatGPT Search неправильно идентифицировала 67% (134 из 200) опрошенных статей, а Grok 3 показал самую высокую частоту ошибок — 94%.
Для тестов исследователям пришлось подать прямые отрывки из реальных новостных статей в AI-модели и попросить каждую модель определить заголовок, оригинального публикатора, дату публикации и URL. Они провели 1600 запросов на восемь различных генерационных поисковых инструментов.
Исследование подчеркнуло общую тенденцию в этих AI-моделях: вместо того, чтобы отказаться от ответа, когда у них не было надежной информации, модели часто предоставляли выдуманные или спекулятивные ответы. Исследователи отметили, что это поведение наблюдалось во всех протестированных моделях, а не только в одной.
Примечательно, что премиальные версии этих поисковых AI-инструментов оказались еще хуже в некоторых отношениях. Perplexity Pro (20 долларов в месяц) и премиум-услуга Grok 3 (40 долларов в месяц) предоставляли неправильные ответы чаще, чем их бесплатные аналоги. Хотя эти премиальные модели правильно отвечали на большее количество запросов, их склонность к тому, чтобы не отказываться от ненадежных ответов, приводила к увеличению общей частоты ошибок.
Исследователи CJR также обнаружили доказательства того, что некоторые AI-инструменты игнорировали настройки Robot Exclusion Protocol, которые издатели используют для предотвращения несанкционированного доступа. Например, бесплатная версия Perplexity правильно идентифицировала все 10 отрывков из платных материалов National Geographic, несмотря на то что National Geographic явно запрещало web-запросы Perplexity.
Даже когда эти поисковые AI-инструменты цитировали источники, они часто направляли пользователей к синдикацированным версиям контента на платформах вроде Yahoo News вместо оригинальных сайтов издателей. Это происходило даже в случаях, когда издатели имели формальные лицензионные соглашения с AI-компаниями.
Создание URL также выявилось как значительная проблема. Более половины цитаций из Google Gemini и Grok 3 вели пользователей к поддельным или разорванным URL, приводящим к ошибочным страницам. Из 200 цитаций, протестированных от Grok 3, 154 заканчивались на разорванных ссылках.
Эти проблемы создают значительное напряжение для издателей, которые сталкиваются с трудными выборами. Заблокировать AI-запросы может привести к полной потере атрибуции, в то время как позволить их — это позволит широкому распространению контента без направления трафика на сайты издателей.
Марк Ховард, генеральный директор Time Magazine, выразил обеспокоенность CJR по поводу обеспечения прозрачности и контроля над тем, как контент Time отображается через AI-генерированные поиски. Несмотря на эти проблемы, Ховард видит место для улучшений в будущих версиях, заявив: «Сегодня продукт будет хуже всего», ссылаясь на значительные инвестиции и усилия инженеров, направленные на усовершенствование этих инструментов.
Однако Ховард также обвинил пользователей в том случае, если они не подозревают точности бесплатных AI-инструментов: «Если кто-то из потребителей сейчас верит, что любой из этих бесплатных продуктов будет на 100% правильным, то стыдно им».
OpenAI и Microsoft предоставили заявления CJR о принятии результатов, но не прокомментировали конкретные проблемы. OpenAI отметил свое обещание поддерживать издателей путем направления трафика через суммарные отчеты, цитаты, ясные ссылки и атрибуцию. Microsoft заявило о своем соблюдении настроек Robot Exclusion Protocol и директив издателей.
Последний отчет продолжает предшествующие исследования Tow Center ноября 2024 года, которые выявили подобные проблемы точности в том, как ChatGPT обрабатывал новостной контент. Для получения дополнительных деталей о подробном и исчерпывающем отчете посетите сайт Columbia Journalism Review.
Ars Technica разделяет сигналы из шума более 25 лет. С нашей уникальной комбинацией технической осведомленности и широкого интереса к технологическим искусствам и наукам, Ars является доверенным источником в море информации. В конце концов, вам не нужно знать все, только то, что важно.
В заключение стоит отметить, что развитие технологий искусственного интеллекта продолжается стремительными темпами. Однако проблемы точности и надежности остаются актуальными вопросами для дальнейшего исследования и улучшения. Пользователи AI-сервисов должны быть осведомлены о возможных рисках и критически подходить к предоставленной информации, особенно в области новостного контента.