大規模AI算力面臨效率瓶頸

外媒《The Information》報導，馬斯克旗下人工智能公司xAI，雖擁有約55萬顆NVIDIA GPU，但目前實際利用率僅約11%，顯示其AI軟體堆疊及分散式系統仍存在明顯瓶頸。

這批GPU主要為H100及H200系列，部署於Memphis及Colossus超級電腦集群，部分採用液冷技術。儘管規模龐大，但實際運作中僅約6萬顆GPU被有效使用，遠低於市場預期。

分析指出，當GPU規模從數千顆擴展至數十萬顆後，系統整合難度大幅提升，導致閒置時間增加、資料傳輸與運算流程出現瓶頸。此問題並非xAI獨有，而是AI產業在大規模部署下普遍面臨的挑戰。

相比之下，Meta與Google透過自研軟件堆疊，GPU利用率分別可達43%及46%。xAI目前仍處於優化階段，目標將利用率提升至50%，重點在於改善基礎設施與軟體架構。

報導亦指出，隨著未來代理式AI需求增加，xAI可能將部分算力對外出租，以提升資源使用效率。同時，公司正推進TeraFab計畫，開發自研晶片，並採用英特爾14A製程，為未來AI及SpaceX等業務提供算力支持。（編輯部）