DeepSeek於20日宣布，將內部使用的推理框架DeepInfer全面開源，並在GitHub發布程式碼。官方介紹稱，DeepInfer面向大型模型的高性能、大規模推理服務，提供離線推理及大規模部署所需的核心功能。此舉讓開發者可檢視框架設計，並按自身硬件和服務需求進行測試與調整。
此次開源讓外界難得一窺這家中國AI開發商如何有效控制大規模模型部署所帶來的龐大算力與能源需求。DeepSeek透過公開其底層生產技術堆疊，旨在協助外部組織提升硬件使用效率、增加請求吞吐量，並大幅降低執行延遲。
DeepInfer整合了多項成熟的降本方法，包括分散式推理與推測性解碼技術，並針對DeepSeek的模型架構進行專項優化，以最大化晶片使用效率。透過將運算工作負載分散至硬件叢集，並簡化輸出生成流程，該軟件在無需修改專有硬體的前提下，有效降低每次請求的運算成本。（編輯部）
下載APP