Новый сложный тест на искусственный общий интеллект озадачил большинство моделей ИИ
Фонд Arc Prize, некоммерческая организация, сооснователем которой является известный исследователь в области ИИ Франсуа Шолле, объявил в понедельник в своем блоге о создании нового сложного теста для измерения общего интеллекта ведущих моделей ИИ. Новый тест, названный ARC-AGI-2, поставил в тупик большинство тестируемых моделей.
Тест ARC-AGI-2 разработан для оценки способности моделей ИИ к рассуждениям и решению задач, требующих понимания и применения общих знаний. В отличие от традиционных тестов, которые часто ограничиваются специфическими задачами, ARC-AGI-2 направлен на оценку более широких когнитивных способностей, таких как логическое мышление, абстракция и способность к обучению на основе опыта.
Среди моделей, которые прошли тестирование, были такие известные «рассуждающие» модели, как o1-pro от OpenAI и другие. Однако, несмотря на высокие ожидания, большинство моделей не смогли справиться с задачами, предложенными в тесте ARC-AGI-2. Это подчеркивает, что, несмотря на значительные успехи в области ИИ, достижение искусственного общего интеллекта (AGI) остается сложной и далекой целью.
Франсуа Шолле, сооснователь фонда Arc Prize, отметил, что цель нового теста — не только оценить текущие возможности моделей ИИ, но и стимулировать дальнейшие исследования и разработки в этой области. «ARC-AGI-2 — это не просто тест, это вызов для всего сообщества ИИ. Мы надеемся, что он вдохновит исследователей на создание более совершенных и универсальных моделей,» — сказал Шолле.
Фонд Arc Prize планирует регулярно обновлять тест ARC-AGI-2, добавляя новые задачи и усложняя его, чтобы он продолжал оставаться актуальным и сложным для будущих моделей ИИ. Организация также призывает исследователей и разработчиков делиться своими результатами и идеями, чтобы совместно продвигать развитие искусственного общего интеллекта.
Таким образом, тест ARC-AGI-2 становится важным инструментом для оценки прогресса в области ИИ и стимулирования новых исследований. По мере того как модели ИИ становятся все более сложными и мощными, подобные тесты помогут нам лучше понять их возможности и ограничения, а также направить усилия на достижение истинного искусственного общего интеллекта.