Оказалось, что можно обучать модели ИИ без использования авторских материалов
Компании, занимающиеся разработкой ИИ, утверждают, что их инструменты не могли бы существовать без обучения на авторских материалах. Однако оказалось, что это не так — просто это очень сложно. Чтобы доказать это, исследователи ИИ обучили новую модель, которая менее мощная, но гораздо более этичная. Это связано с тем, что набор данных для обучения модели использует только материалы общественного достояния и открытые лицензии.
Статья, опубликованная на GitHub (через The Washington Post), является результатом совместной работы 14 различных институтов. Среди авторов — представители таких университетов, как MIT, Карнеги-Меллон и Университет Торонто. Вклад в исследование также внесли некоммерческие организации, такие как Vector Institute и Allen Institute for AI.
Группа создала набор данных объемом 8 ТБ, полученных этическим путем. Среди данных было 130,000 книг из Библиотеки Конгресса. После ввода материалов они обучили модель большого языка (LLM) с семью миллиардами параметров на этих данных. Результат? Модель показала результаты, сопоставимые с моделью Llama 2-7B от Meta*, выпущенной в 2023 году. Команда не опубликовала сравнительные показатели с современными ведущими моделями.
Сравнительная производительность с моделью двухлетней давности не была единственным недостатком. Процесс создания модели также был трудоемким. Многие данные не могли быть прочитаны машинами, поэтому людям приходилось просматривать их вручную. «Мы используем автоматизированные инструменты, но в конечном итоге все наши данные были аннотированы и проверены людьми», — рассказала соавтор Стелла Бидерман WaPo. «И это действительно сложно». Определение юридических деталей также усложнило процесс. Команде пришлось определять, какая лицензия применяется к каждому сайту, который они сканировали.
Что же делать с менее мощной моделью ИИ, которую сложнее обучать? По крайней мере, она может служить контраргументом. В 2024 году OpenAI заявила британскому парламентскому комитету, что такая модель практически не может существовать. Компания утверждала, что было бы «невозможно обучить современные ведущие модели ИИ без использования авторских материалов». В прошлом году эксперт Anthropic добавил, что «LLMs, вероятно, не существовали бы, если бы компании ИИ были обязаны лицензировать работы в своих обучающих наборах данных».
Конечно, это исследование вряд ли изменит траекторию развития компаний, занимающихся ИИ. Ведь больше работы для создания менее мощных инструментов не соответствует их интересам. Однако, по крайней мере, оно опровергает один из распространенных аргументов в отрасли. Не удивляйтесь, если услышите об этом исследовании снова в судебных делах и обсуждениях регулирования.
* Компания Meta (Facebook и Instagram) признана в России экстремистской и запрещена.
Подпишитесь на новости в телеграм: https://t.me/itnewsros