Wikipedia столкнулась с проблемами из-за активности AI-ботов
Фонд Wikimedia сообщил о значительном увеличении трафика на своих ресурсах с января 2024 года. По данным организации, объем используемой пропускной способности для загрузки мультимедийного контента вырос на 50%. Однако это не связано с внезапным увеличением интереса со стороны людей к статьям Wikipedia или видео на Wikimedia Commons. Причиной стал рост активности AI-ботов, которые автоматически сканируют открыто лицензированные изображения, видео, статьи и другие файлы для обучения генеративных моделей искусственного интеллекта.
Этот внезапный рост трафика от ботов может замедлить доступ к страницам и ресурсам Wikimedia, особенно в периоды повышенного интереса. Например, после смерти Джимми Картера в декабре, увеличение интереса к видео его президентских дебатов с Рональдом Рейганом привело к замедлению загрузки страниц для некоторых пользователей. Wikimedia в состоянии справиться с пиками трафика от человеческих пользователей, но «объем трафика, генерируемого скрейпер-ботами, беспрецедентен и представляет растущие риски и затраты», — отмечает фонд.
Wikimedia объясняет, что человеческие пользователи обычно ищут конкретные и часто схожие темы. Когда что-то становится популярным, многие люди ищут одну и ту же информацию. Wikimedia создает кэш для часто запрашиваемого контента в ближайшем к пользователю дата-центре, что позволяет быстрее предоставлять информацию. Однако контент, который не запрашивался долгое время, должен быть предоставлен из основного дата-центра, что требует больше ресурсов и, следовательно, больше затрат для Wikimedia. AI-боты, сканирующие страницы оптом, часто обращаются к таким редко запрашиваемым страницам, что увеличивает нагрузку на основные серверы.
По данным Wikimedia, 65% ресурсоемкого трафика приходится на ботов. Это постоянно вызывает проблемы для команды по обеспечению надежности сайта, которой приходится постоянно блокировать ботов, прежде чем они значительно замедлят доступ к страницам для реальных читателей. Основная проблема, как указывает Wikimedia, заключается в том, что «расширение произошло в основном без достаточной атрибуции, что является ключевым для привлечения новых пользователей к участию в движении». Фонд, который полагается на пожертвования для своей работы, нуждается в новых пользователях, которые будут заинтересованы в его деле. «Наш контент бесплатный, наша инфраструктура — нет», — подчеркивает фонд.
Wikimedia планирует в следующем финансовом году разработать устойчивые способы предоставления доступа к своему контенту для разработчиков и повторных пользователей. Это необходимо, поскольку нет признаков снижения трафика, связанного с AI, в ближайшее время.