Компания DeepSeek открыла исходный код DeepInfer — собственного фреймворка для инференса, который применяется в её производственных сервисах для запуска больших языковых моделей. Проект распространяется по лицензии Apache 2.0.

Сейчас DeepInfer работает с моделью DeepSeek-V4.1-Flash и поддерживает ускорители NVIDIA SM100 и Huawei Ascend 950. Фреймворк ориентирован на масштабные развёртывания: он распределяет вычисления между несколькими ускорителями, асинхронно планирует запросы и оптимизирует работу моделей MoE.

Среди возможностей движка — ускорение генерации за счёт предварительного создания нескольких вариантов токенов с их последующей проверкой. DeepInfer также поддерживает детерминированную генерацию и структурированные ответы: модель можно настроить так, чтобы она возвращала результат по JSON-схеме, регулярному выражению или грамматике EBNF.

Опубликованная версия ориентирована в первую очередь на офлайн-инференс. Чтобы развернуть на её основе полноценный сервис, потребуется отдельно реализовать KV-кэш, балансировку нагрузки и часть инфраструктуры для разделения этапов обработки запросов.

DeepInfer изначально разрабатывался на базе vLLM. Среди источников вдохновения разработчики также называют SGLang и TensorRT-LLM. Код проекта доступен на GitHub.