Исследование обвиняет LM Arena в помощи ведущим AI-лабораториям в манипуляции рейтингами
Новое исследование, проведенное AI-лабораторией Cohere совместно с Stanford, MIT и Ai2, обвиняет организацию LM Arena в предоставлении несправедливого преимущества некоторым ведущим компаниям в области искусственного интеллекта. LM Arena, известная как создатель популярного краудсорсингового бенчмарка Chatbot Arena, позволила таким гигантам, как Meta*, OpenAI и другим, достигать более высоких позиций в рейтингах за счет конкурентов.
Согласно авторам исследования, LM Arena предоставила определенным компаниям доступ к внутренним данным и инструментам, которые не были доступны другим участникам. Это позволило этим компаниям оптимизировать свои модели и достигать более высоких результатов в бенчмарках Chatbot Arena. В результате, рейтинги, которые должны были быть объективным показателем качества AI-моделей, оказались искаженными в пользу избранных игроков.
Исследование поднимает важные вопросы о прозрачности и честности в мире AI-бенчмарков. Ведущие компании, такие как Meta* и OpenAI, уже имеют значительные ресурсы и доступ к передовым технологиям. Предоставление им дополнительных преимуществ может еще больше увеличить разрыв между ними и менее ресурсоемкими конкурентами, что в конечном итоге может замедлить развитие индустрии в целом.
Представители LM Arena пока не прокомментировали обвинения. Однако, если они подтвердятся, это может потребовать значительных изменений в политике проведения бенчмарков и обеспечении равных условий для всех участников.
В заключение, важно отметить, что прозрачность и честность в проведении бенчмарков являются ключевыми факторами для доверия к результатам и дальнейшего развития AI-индустрии. Надеемся, что данное исследование станет поводом для открытого обсуждения и принятия необходимых мер.
* Компания Meta (Facebook и Instagram) признана в России экстремистской и запрещена.
Подпишитесь на новости в телеграм: https://t.me/itnewsros