DeepSeek 宣布開源自家推論框架 DeepInfer,也就是支撐 DeepSeek-V4.1-Flash 線上服務的生產級程式碼,同步開源對齊官方 API 行為的 deepseek-recipe。不過,官方 README 坦言此次只釋出離線推論,完整服務所需的 KV 快取等元件並未包含。
(前情提要:DeepSeek 推出 V4.1 Flash 新版:跑分升、回答更短、價格不變)
(背景補充:DeepSeek 開源華為昇騰六大元件:TileLang 直接「對標 CUDA」欲替代輝達)
中國 AI 新創 DeepSeek 於台北時間 10 月 20 日下午 5 時 30 分在 X 發文宣布,將內部推論框架 DeepInfer 開源,稱其在大規模環境中支撐 DeepSeek-V4.1-Flash 服務,盼協助社群降低算力成本與能耗。程式碼已上架 GitHub,採 Apache 2.0 授權。
功能:雙平台硬體、確定性輸出
依 官方 README,DeepInfer 目前僅支援 DeepSeek-V4.1-Flash,硬體涵蓋輝達 SM100 世代 GPU 與華為昇騰 950 NPU。功能包括專家平行(MoE EP)、以草稿 token 加速解碼的 DSpark、結構化輸出,以及讓相同輸入產生相同結果的確定性取樣(僅限輝達)。官方另稱,未來新模型的推論程式碼也會放進此儲存庫。
修正:並非完整生產服務
值得注意的是,貼文稱「完全開源」,但 README 明列此版本僅提供離線推論,KV 快取系統、Prefill/Decode 分離部署與跨副本負載平衡均未包含。README 也說明,DeepInfer 最初主要建立在開源專案 vLLM 之上,並參考 SGLang 與 TensorRT-LLM。官方效能測試則是以 4 張 GPU 跑 Prefill、64 張跑 Decode 量測。
同步開源 deepseek-recipe
DeepSeek 在同串貼文中一併公開 deepseek-recipe(MIT 授權),以 Rust 撰寫並提供 Python 綁定,負責把 Chat Completions 等格式的請求轉成 DeepSeek V4/V4.1 提示詞並處理 token 編解碼,讓第三方部署能貼近官方 API 行為。
此次開源距 V4.1-Flash-1017 權重於 10 月 17 日上架 Hugging Face 僅隔數日,DeepInfer 預設下載的正是該版本權重;昇騰 950 支援則與 DeepSeek 10 月初開源的華為昇騰相關元件相呼應。

📍相關報導📍
美國國安部下令移除 DeepSeek!聯邦機構停用,AI 冷戰升級
DeepSeek 昨日當機 5 小時:官方宣布前一週 API 花費以贈金退回當補償
