Википедия столкнулась с проблемой жадных AI-ботов
Фонд Wikimedia сообщил о значительном увеличении трафика, связанного с загрузкой мультимедийного контента, начиная с января 2024 года. Рост составил 50 процентов, однако это не связано с внезапным увеличением интереса со стороны людей. Причиной стали AI-боты, автоматические программы, которые сканируют открыто лицензированные изображения, видео, статьи и другие файлы Wikimedia для обучения генеративных моделей искусственного интеллекта.
Этот внезапный скачок трафика от ботов может замедлить доступ к страницам и ресурсам Wikimedia, особенно во время событий, вызывающих повышенный интерес. Например, когда в декабре умер Джимми Картер, увеличение интереса к видео его президентских дебатов с Рональдом Рейганом привело к замедлению загрузки страниц для некоторых пользователей. Wikimedia способна справляться с пиками трафика от человеческих пользователей во время таких событий, но, как отметил фонд, «объем трафика, генерируемого скрейпер-ботами, беспрецедентен и представляет растущие риски и затраты».
Фонд объяснил, что человеческие пользователи обычно ищут конкретные и часто схожие темы. Например, многие люди ищут одно и то же, когда это становится трендом. Wikimedia создает кэш контента, который запрашивается многократно, в ближайшем к пользователю дата-центре, что позволяет быстрее предоставлять контент. Однако статьи и контент, к которым давно не обращались, должны быть предоставлены из основного дата-центра, что потребляет больше ресурсов и, следовательно, стоит дороже для Wikimedia. Поскольку AI-боты обычно считывают страницы оптом, они обращаются к редко используемым страницам, которые должны быть предоставлены из основного дата-центра.
Wikimedia отметил, что 65 процентов потребляемого трафика приходится на ботов. Это постоянно вызывает проблемы для команды по обеспечению надежности сайта, которая вынуждена постоянно блокировать ботов, прежде чем они значительно замедлят доступ к страницам для реальных читателей. Основная проблема, по мнению Wikimedia, заключается в том, что «расширение произошло в основном без достаточного указания авторства, что является ключевым для привлечения новых пользователей к участию в движении». Фонд, который полагается на пожертвования для своего существования, нуждается в привлечении новых пользователей и их вовлечении в свое дело. «Наш контент бесплатный, наша инфраструктура — нет», — подчеркнул фонд.
Wikimedia планирует разработать устойчивые способы доступа к своему контенту для разработчиков и повторных пользователей в предстоящем финансовом году. Это необходимо, поскольку фонд не видит признаков снижения трафика, связанного с AI, в ближайшее время.