Alibaba совершила прорыв в обработке больших текстов: модель QwenLong-L1 способна на анализ документов любой длины за секунды
Компания Alibaba Group представила революционную разработку в области обработки больших текстов — модель QwenLong-L1. Эта новая архитектура позволяет большим языковым моделям (LLM) эффективно обрабатывать чрезвычайно длинные входные данные, открывая новые горизонты для корпоративных приложений, требующих анализа обширных документов. Теперь подробные корпоративные отчёты, многостраничные финансовые ведомости и сложные юридические контракты могут быть проанализированы за считанные секунды.
До недавнего времени способность больших моделей с рассуждениями (LRM) к работе с длинными текстами оставалась серьёзной проблемой. Несмотря на значительные улучшения, достигнутые благодаря обучению с подкреплением (RL), эффективность таких моделей резко снижалась при обработке текстов, превышающих 4000 токенов. Разработчики QwenLong-L1 отмечают, что это ограничение существенно препятствовало практическому применению LRM в областях, требующих взаимодействия с обширными базами знаний, таких как научные исследования.
Ключевое отличие QwenLong-L1 заключается в многоэтапном подходе к обучению. Процесс включает три основных стадии. На первом этапе модель проходит контролируемую тонкую настройку (SFT) на примерах рассуждений с длинными контекстами, что закладывает основу для точного извлечения информации из больших объёмов данных. Затем следует поэтапное обучение с подкреплением (RL), где длина входных документов постепенно увеличивается, обеспечивая стабильную адаптацию модели к более сложным задачам. На заключительном этапе используется выборка сложных примеров из предыдущих этапов, что стимулирует модель к освоению самых трудных задач и исследованию различных путей рассуждения.
Важной особенностью QwenLong-L1 является гибридная система вознаграждения. Она сочетает строгую проверку на основе правил, гарантирующую точность, и оценку, производимую другой LLM, которая сравнивает смысловое содержание сгенерированного ответа с эталонным. Это позволяет более гибко обрабатывать различные варианты правильных ответов, характерные для длинных и сложных документов.
Тестирование QwenLong-L1 на семи эталонных наборах данных для задач вопрос-ответ на основе документов (DocQA) показало впечатляющие результаты. Модель QwenLong-L1-32B продемонстрировала производительность, сопоставимую с Anthropic’s Claude-3.7 Sonnet Thinking, и превзошла модели OpenAI o3-mini и Qwen3-235B-A22B. Более компактная модель QwenLong-L1-14B превзошла Google Gemini 2.0 Flash Thinking и Qwen3-32B.
Примечательно, что обучение с помощью QwenLong-L1 привело к появлению у модели специализированных навыков рассуждения в длинном контексте: лучшее «заземление» ответов (связывание ответов с конкретными частями документа), постановка промежуточных целей, отслеживание ошибок и их исправление, а также верификация ответов. Alibaba выпустила код QwenLong-L1 и веса для обученных моделей, что открывает широкие возможности для её применения в различных областях, включая юридическую сферу, финансы и сферу обслуживания.
* Компания Meta (Facebook и Instagram) признана в России экстремистской и запрещена.
Подпишитесь на новости в телеграм: https://t.me/itnewsros