Новое поколение алгоритмов использует технику синтеза изображений AI для ускорения генерации текста в 10 раз.
В четверг Inception Labs представила Mercury Coder — новую модель искусственного интеллекта, которая применяет методы диффузии для создания текста быстрее традиционных моделей. В отличие от классических алгоритмов, которые создают текст слово за словом (как те, что используются в ChatGPT), модели на основе диффузии, такие как Mercury, производят полные ответы одновременно, совершенствуя их из инициально закрытого состояния до связного текста.
Традиционные большие языковые модели создают текст слева направо, слово за словом. Они используют метод автокорреляции — каждый слово должно подождать все предыдущие слова перед появлением. Вдохновившись техниками синтеза изображений моделей, таких как Stable Diffusion, DALL-E и Midjourney, текстовые модели диффузии, такие как LLaDA (разработанные исследователями из Renmin University и Ant Group) и Mercury, используют подход на основе маскировки. Эти модели начинают с полностью закрытого содержания и постепенно «деградируют» вывод, раскрывая все части ответа одновременно.
Хотя модели диффузии изображений добавляют непрерывный шум к значениям пикселей, текстовые модели диффузии не могут применять непрерывный шум к дискретным токенам (кластерам текстовых данных). Вместо этого они заменяют токены специальными маскированными токенами как эквивалент шума в тексте. В LLaDA вероятность маскирования контролирует уровень шума, где высокая маскировка представляет высокий шум, а низкая маскировка — низкий шум. Процесс диффузии проходит от высокого до низкого уровня шума. Хотя LLaDA описывает это с использованием терминологии маскирования, а Mercury использует терминологию шума, оба применяют похожий подход к генерации текста, основанный на диффузии.
Так же как в случае создания модели синтеза изображений, исследователи создают текстовые модели диффузии путем обучения нейронной сети на частично закрытых данных, при этом модель прогнозирует наиболее вероятное завершение и затем сравнивает результаты с правильным ответом. Если модель правильно угадала, связи в нейронной сети, приведшие к правильному ответу, усиливаются. После достаточного количества примеров модель может генерировать выводы достаточно правдоподобные для использования в задачах кодирования (хотя на данный момент они все еще часто конструируют информацию).
По утверждению Inception Labs, подход позволяет модели совершенствовать выходные данные и исправлять ошибки, не ограничиваясь только предыдущим текстом. Параллельная обработка обеспечивает скорость генерации Mercury более 1000 токенов в секунду на графических процессорах Nvidia H100.
Эти модели диффузии сохраняют производительность быстрее или сравнимую с аналогичных размеров традиционными моделями. Исследователи LLaDA сообщают, что их модель из 8 миллиардов параметров работает аналогично LLaMA3 8B по различным бенчмаркам, со сопоставимыми результатами на задачах MMLU, ARC и GSM8K.
Однако Mercury заявляет о значительном ускорении. Их модель Mercury Coder Mini набирает 88,0% на HumanEval и 77,1% на MBPP — что сравнимо с GPT-4o Mini — при обещанной скорости генерации в 1109 токенов в секунду по сравнению с 59 токенами в секунду у GPT-4o Mini. Это примерно на 19 раз быстрее, чем GPT-4o Mini при сохранении аналогичных результатов в кодовых бенчмарках.
Документация Mercury утверждает, что их модели работают «на скорости более 1000 токенов/секунду на Nvidia H100s, скорость, ранее возможная только с использованием кастомных микросхем» от специализированных поставщиков оборудования, таких как Groq, Cerebras и SambaNova. Сравниваясь с другими оптимизированными для скорости моделями, заявленное преимущество остается значительным — Mercury Coder Mini, по заявлению, в 5,5 раза быстрее Gemini 2.0 Flash-Lite (201 токенов/секунду) и в 18 раз быстрее Claude 3.5 Haiku (61 токены в секунду).
Модели диффузии действительно содержат некоторые компромиссы. Они обычно требуют нескольких прямых проходов через сеть для генерации полного ответа, в отличие от традиционных моделей, которые требуют только одного прохода на каждый токен. Однако потому что модели диффузии обрабатывают все токены параллельно, они достигают более высокой пропускной способности несмотря на эту перегрузку.
Inception полагает, что преимущества скорости могут повлиять на инструменты завершения кода, где мгновенный ответ может влиять на продуктивность разработчика, ассистанты AI для диалоговых приложений, ограниченные ресурсами среды, такие как мобильные приложения, и агенты AI, которые должны быстро отвечать.
Если модели диффузии сохранят качество при улучшении скорости, они могут изменить способ развития генерации текста с помощью AI. На данный момент исследователи AI остаются открытыми для новых подходов.
Независимый исследователь в области искусственного интеллекта Simon Willison сказал Ars Technica: «Мне нравится, что люди экспериментируют с альтернативными архитектурами к трансформерам, это еще одна иллюстрация того, сколько пространства LLMs мы пока даже не начали исследовать».
В X (бывший Twitter) бывший сотрудник OpenAI Андрей Карпатски написал о Inception: «Эта модель имеет потенциал быть другой, и возможно продемонстрировать новые уникальные психологические особенности или новые сильные и слабые стороны. Я призываю людей попробовать ее!»
Остаются вопросы, могут ли большие модели диффузии поддерживать производительность моделей GPT-4o и Claude 3.7 Sonnet, производить надежные результаты без многочисленных конструирований информации и если подход может справиться с все более сложными задачами симуляции рассуждения. В настоящий момент эти модели могут предложить альтернативный вариант для меньших моделей AI, не жертвуя способностями ради скорости.
Вы можете попробовать Mercury Coder самостоятельно на сайте Inception или скачать код LLaDA и попробовать демо на Hugging Face.