Wikipedia предлагает разработчикам ИИ тренировочный датасет, чтобы снизить нагрузку на свои серверы
В последнее время Wikipedia сталкивается с серьезными проблемами, вызванными активностью AI-ботов, которые скрапят текст и мультимедийный контент с энциклопедии для обучения генеративных моделей искусственного интеллекта. Это приводит к увеличению затрат и замедлению загрузки страниц для обычных пользователей. В попытке решить эту проблему, Wikimedia Foundation, управляющая данными Wikipedia, предлагает разработчикам ИИ специальный датасет, который они могут свободно использовать.
Организация объединила усилия с платформой данных Kaggle, чтобы предоставить бета-версию структурированного датасета на английском и французском языках. Согласно заявлению Google, владеющей Kaggle, этот датасет специально отформатирован для машинного обучения, что делает его более полезным для обучения, разработки и data science.
Wikimedia Enterprise, часть Wikimedia Foundation, отмечает, что датасет включает «аннотации, краткие описания, данные в стиле инфобоксов, ссылки на изображения и четко сегментированные разделы статей». В датасете отсутствуют ссылки и другие «непрозаические элементы», такие как видеоклипы. Отсутствие ссылок может усложнить вопрос атрибуции информации в датасете, однако Wikimedia Enterprise подчеркивает, что весь контент датасета лицензирован под Creative Commons, общественное достояние и другие свободные лицензии, так как он полностью взят из Wikipedia.
Этот шаг может значительно снизить нагрузку на серверы Wikipedia, сделав доступ к данным более удобным для разработчиков ИИ и улучшив пользовательский опыт для обычных посетителей сайта.
* Компания Meta (Facebook и Instagram) признана в России экстремистской и запрещена.
Подпишитесь на новости в телеграм: https://t.me/itnewsros