AI компании Sesame недавно представила основную модель, которая питает их впечатляюще реалистичного голосового ассистента под названием Maya.
Модель, размером в 1 миллиард параметров (которые относятся к отдельным компонентам модели), находится под лицензией Apache 2.0, что означает её возможность коммерческого использования с минимальными ограничениями. Названная CSM-1B, модель генерирует «RVQ аудиокоды» из текстовых и аудиовходных данных, согласно описанию компании Sesame на платформе разработки AI Hugging Face.
RVQ (Residual Vector Quantization) — это метод кодирования звука в дискретные токены под названием коды. RVQ используется во многих современных технологиях AI для аудио, включая Google’s SoundStream и Meta’s Encodec.
CSM-1B использует модель из семейства Ламмас компании Meta* в качестве основного компонента с дополнительным аудиодекодером. Уточненная вариация CSM питает Maya, как сообщает Sesame.
«Модель, открытая здесь, является базовой генеративной моделью», — пишет компания Sesame в репозиториях Hugging Face и GitHub для CSM-1B. «Она способна производить различные голоса, но не была уточнена на определенном голосе… Модель имеет некоторую возможность для нелатинских языков из-за загрязнения данных в процессе обучения, но это вероятно не будет хорошо.»
Неизвестно какие данные использовал Sesame для тренировки CSM-1B. Компания не уточнила эту информацию.
Стоит отметить что модель имеет очень мало защитных механизмов. Sesame полагается на принцип чести и лишь усердно просит разработчиков и пользователей не использовать модель для подражания человеческому голосу без согласия, создания вводящих в заблуждение материалов, таких как фальшивые новости или участие в «опасных» или «вредоносных» действиях.
Я попробовал демонстрацию на Hugging Face и клонирование моего голоса заняло менее минуты. Оттуда было легко генерировать речь по своему усмотрению, включая разговоры на спорные темы, такие как выборы или пропаганда России.
Consumer Reports недавно предупредила о том что многие популярные инструменты для клонирования голосов на рынке не имеют «существенных» защитных механизмов от мошенничества и злоупотребления.
Sesame, основанная соучредителем Oculus Brendan Iribe, в феврале облетела соцсети из-за своей технологии ассистентов, которая приближается к границам «недружелюбного» пространства. Maya и другой ассистент Sesame под названием Miles делают паузы для дыхания и говорят с запинками, их также можно прерывать во время разговора, как в режиме Voice Mode OpenAI.
Sesame привлекла неизвестную сумму капитала от Andreessen Horowitz, Spark Capital и Matrix Partners. В дополнение к созданию голосового ассистента компания заявляет что работает над прототипом AI очков «дизайн которых разработан для круглосуточного ношения» которые будут оснащены их собственными моделями.
* Компания Meta (Facebook и Instagram) признана в России экстремистской и запрещена