Google представила ИИ-модель DiffusionGemma

Google выпустила экспериментальную модель искусственного интеллекта DiffusionGemma — подход к генерации текста, принципиально отличающийся от тех, что применяются в большинстве современных чат-ботов. Вместо пошаговой автогенерации по каждому слову она формирует целый текстовый блок сразу и дорабатывает его до читаемости.

Главный плюс DiffusionGemma — скорость: приоритет ускорения идёт в ущерб некоторому снижению качества. Модель доступна с открытым исходным кодом по лицензии Apache 2.0 и ориентирована на разработчиков и исследователей, а не на широкую аудиторию. Начало ответа осуществляется через набор случайных токенов — шумного текста, который за несколько проходов превращается в осмысленный.

Этот подход заметно ускоряет работу по сравнению с традиционными методами: на Nvidia H100 модель генерирует около 1000 токенов в секунду, на потребительской видеокарте — примерно 700 токенов в секунду. DiffusionGemma имеет архитектуру Mixture-of-Experts (MoE): при размере 26 миллиардов параметров активны лишь около 3,8 миллиарда.

Требуется примерно 18 гигабайт видеопамяти. За один шаг модель выдает 256 токенов, и все они взаимодействуют внутри одного блока, что даёт глобальное представление о результате, а не строго линейную последовательность. Инструмент хорошо подходит для задач структурирования и соблюдения правил: заполнение пропусков в коде, работа с форматами вроде JSON, решение сложных логических задач и обработка математических закономерностей. Увидев блок токенов сразу, модель может исправлять противоречия в одном цикле генерации.

Однако есть и существенный минус: качество ответов DiffusionGemma уступает тем же генераторам Gemma 4. Поэтому Google позиционирует проект как экспериментальный — он предназначен для сценариев, где скорость важнее точности. Примеры применения включают работу ИИ‑приложений в реальном времени, встроенных помощников по тексту или коду и другие скоростные итеративные процессы. Он не призван заменить семейства Gemma и Gemini.

Регион: 

Рубрики: 

Заметили ошибку? Выделите ее мышкой и нажмите Ctrl+Enter!