字節跳動推出Seed Diffusion預覽版

驗證擴散式語言模型可行性
03/08/2025
3623
收藏
分享
驗證擴散式語言模型可行性

綜合內地媒體報道,字節跳動旗下Seed團隊近日宣布推出實驗性擴散語言模型「Seed Diffusion Preview」,旨在探索離散擴散技術作為下一代語言模型基礎框架的可行性,並以結構化代碼生成為主要實驗場景。

據團隊公布,Seed Diffusion Preview在代碼推理任務中的速度達2146 tokens/s,較同等規模的自回歸模型快5.4倍,展現顯著的推理加速效果。實驗同時顯示,在多項代碼生成基準測試中,該模型的性能與傳統自回歸模型相當,甚至在需要全局規劃視角的代碼編輯任務(如CanItEdit)中表現更佳,顯示擴散架構在處理複雜結構化任務方面的潛力。

Seed團隊指出,這一成果驗證了離散擴散技術在語言模型上的應用前景,並強調推理效率提升僅為其最直觀優勢。後續Seed Diffusion項目將持續深入研究其規模化定律及在高階推理任務中的應用,探索擴散模型在語言理解與生成領域的長期價值。(編輯部)

檢舉
檢舉類型:
具體描述:
提交
取消
評論
發佈

力報會員可享用評論功能

註冊 / 登錄

查看更多評論
收藏
分享

相關新聞

推薦新聞

找不到相關內容

七日預報