Новейший искусственный интеллект от Google, Gemini 2.5 Flash, оказался хуже предшественника и провалил собственные тесты на безопасность
Google недавно представила свою новую модель искусственного интеллекта, Gemini 2.5 Flash, однако результаты тестов на безопасность оказались неутешительными. В техническом отчете, опубликованном на этой неделе, компания признала, что новая модель показала худшие результаты по сравнению с предшественницей, Gemini 2.0 Flash.
По двум ключевым показателям, «text-to-text safety» и «image-to-text safety», Gemini 2.5 Flash продемонстрировала результаты хуже на 4,1% и 9,6% соответственно. Первый параметр измеряет, насколько часто модель нарушает правила безопасности при получении текстовой подсказки, тогда как второй оценивает, насколько точно модель придерживается этих правил при получении подсказки с использованием изображения. Оба теста автоматизированы и не контролируются человеком.
Представитель Google подтвердил, что Gemini 2.5 Flash «хуже справляется с безопасностью преобразования текста в текст и изображения в текст». Согласно техническому отчету, новая модель, все еще находящаяся в стадии предварительной версии, следует инструкциям более точно, чем Gemini 2.0 Flash, включая инструкции, пересекающие проблемные линии. Компания утверждает, что плохие показатели можно отчасти отнести к ложным срабатываниям, но также признает, что Gemini 2.5 Flash иногда генерирует «нарушающий контент», когда его об этом прямо просят.
Эти результаты подчеркивают важность тестирования и улучшения моделей искусственного интеллекта перед их широким внедрением. Google продолжает работать над улучшением безопасности своих моделей, чтобы обеспечить надежное и безопасное использование искусственного интеллекта в различных приложениях.
* Компания Meta (Facebook* и Instagram*) признана в России экстремистской и запрещена.
Подпишитесь на новости в телеграм: https://t.me/itnewsros