Модель искусственного интеллекта Maverick от Meta* оказалась ниже конкурентов на популярном чат-бенчмарке
На этой неделе Meta* оказалась в центре скандала из-за использования экспериментальной, невыпущенной версии своей модели Llama 4 Maverick для достижения высокого результата на краудсорсинговом бенчмарке LM Arena. Инцидент вынудил администраторов LM Arena принести извинения, изменить свои политики и переоценить базовую, немодифицированную версию Maverick. Оказалось, что её результаты далеко не так впечатляющи.
LM Arena — это популярная платформа для оценки моделей искусственного интеллекта, где различные модели соревнуются в выполнении различных задач, связанных с обработкой естественного языка. Meta* решила использовать экспериментальную версию своей модели Llama 4 Maverick, чтобы показать высокие результаты на этой платформе. Однако, когда администраторы LM Arena узнали об этом, они приняли решение переоценить базовую версию Maverick без каких-либо модификаций.
Результаты переоценки показали, что базовая версия Maverick значительно уступает своим конкурентам. Это вызвало волну критики в адрес Meta*, так как использование невыпущенной версии модели было расценено как попытка манипулировать результатами бенчмарка. Администраторы LM Arena также извинились перед пользователями и внесли изменения в свои политики, чтобы предотвратить подобные инциденты в будущем.
Этот случай подчеркивает важность прозрачности и честности в оценке моделей искусственного интеллекта. Компании, работающие в этой области, должны стремиться к тому, чтобы их результаты были достоверными и проверяемыми, чтобы не подрывать доверие пользователей и профессионального сообщества.
* Компания Meta (Facebook и Instagram) признана в России экстремистской и запрещена.
Подпишитесь на новости в телеграм: https://t.me/itnewsros