Команда Qwen представила модель Qwen3.8-Omni-Flash — первую в линейке нативно мультимодальную систему, специально спроектированную для работы в составе ИИ-агентов. По заявлению разработчиков, модель объединяет понимание текста, изображений, аудио и видео с возможностью планировать задачи и вызывать внешние инструменты для их выполнения.

Ключевые возможности

Модель способна одновременно обрабатывать несколько типов данных: текст, изображения, аудиозаписи и видеоролики продолжительностью до часа. Контекстное окно Qwen3.8-Omni-Flash достигает 1 млн токенов, что позволяет анализировать длинные встречи, лекции или фильмы в рамках одного запроса.

Среди сценариев использования разработчики называют:

• монтаж и постобработку видео, создание музыкальных клипов и фильмов;

• расшифровку созвонов и совещаний с распознаванием нескольких говорящих;

• перевод видеоконтента с автоматической генерацией субтитров и аудиодорожек на нужном языке;

• создание подробных заметок и резюме по длинным аудиовизуальным материалам.

Агентская архитектура и плагины

Qwen3.8-Omni-Flash задумывалась как основа для мультимодальных агентов: система не только «понимает» контент, но и координирует работу сторонних инструментов. Например, агент на базе модели может проанализировать фильм, подготовить к нему примечания и перевод, клонировать голоса актёров и сгенерировать новую аудиодорожку, подключив соответствующие сервисы.

Для упрощения разработки Alibaba открыла набор плагинов Qwen-MM-Plugins, которые добавляют агенту функции транскрибации речи, распознавания говорящих и анализа событий в видео. В ближайшее время компания обещает опубликовать готовую «обвязку» Qwen-Live Harness — фреймворк для построения агентов на основе Realtime API модели.

Доступность и конкуренция

Модель уже доступна бесплатно в чат-боте Qwen, на облачной платформе QwenCloud и через API Alibaba Cloud Model Studio. По данным внутренних тестов Alibaba, по возможностям работы с аудио и видео Qwen3.8-Omni-Flash приблизилась к Gemini 3.8 Flash от Google, а в ряде бенчмарков даже превзошла её. При этом стоимость обработки часового видеопотока через API оказалась более чем на 90% ниже, чем у предыдущих версий линейки.