Компания ByteDance, владеющая социальной сетью TikTok, намерена усилить позиции на рынке искусственного интеллекта. По данным Financial Times, китайский технологический гигант приступил к предварительному обучению модели, количество параметров которой может достигать 10 трлн. Если оценка подтвердится, разработка ByteDance окажется сопоставимой по масштабу с передовыми моделями Anthropic.

Anthropic не раскрывает официальные характеристики своих ИИ-систем, однако отраслевые оценки приписывают модели Mythos 5 около 8 трлн параметров, а Fable 5 — примерно 5 трлн. Для сравнения, китайская компания Moonshot AI ранее представила модель Kimi K3, общая ёмкость которой составляет около 2,8 трлн параметров. Таким образом, потенциально новая разработка ByteDance может более чем втрое превзойти её по этому показателю.

При этом количество параметров само по себе не гарантирует более высокого качества или быстродействия модели. Этот показатель отражает масштаб и потенциальную ёмкость системы, тогда как её возможности зависят также от архитектуры, качества обучающих данных и применяемых методов подготовки и донастройки.

Сейчас ByteDance находится на ранней стадии обучения новой модели. По информации источников, предварительный этап обычно занимает от трёх до шести месяцев, после чего систему должны дообучить, протестировать и подготовить к возможному выпуску.

В разработке ИИ-моделей ByteDance участвуют около 2000 специалистов, работающих в Китае и за его пределами. В команду входят инженеры, исследователи, специалисты по разметке данных и переводчики.

Основатель ByteDance Чжан Иминь, как сообщается, призывает сотрудников не переоценивать значение краткосрочного отставания от конкурентов. В компании рассчитывают, что долгосрочные инвестиции в собственные разработки позволят ей не только приблизиться к ведущим западным ИИ-системам, но и в будущем превзойти их.