綜合內地媒體報道,字節跳動旗下Seed團隊近日宣布推出實驗性擴散語言模型「Seed Diffusion Preview」,旨在探索離散擴散技術作為下一代語言模型基礎框架的可行性,並以結構化代碼生成為主要實驗場景。
據團隊公布,Seed Diffusion Preview在代碼推理任務中的速度達2146 tokens/s,較同等規模的自回歸模型快5.4倍,展現顯著的推理加速效果。實驗同時顯示,在多項代碼生成基準測試中,該模型的性能與傳統自回歸模型相當,甚至在需要全局規劃視角的代碼編輯任務(如CanItEdit)中表現更佳,顯示擴散架構在處理複雜結構化任務方面的潛力。
Seed團隊指出,這一成果驗證了離散擴散技術在語言模型上的應用前景,並強調推理效率提升僅為其最直觀優勢。後續Seed Diffusion項目將持續深入研究其規模化定律及在高階推理任務中的應用,探索擴散模型在語言理解與生成領域的長期價值。(編輯部)