研究人員以四款大型語言模型進行測試，發現模型若持續用低質、短篇且以吸引點擊為主的網絡內容訓練，在推理、長文本理解、安全及行為表現上均可能退步。研究團隊把這種現象稱為AI「腦腐」，並指出即使再以較高質素資料微調，模型表現也難完全回到基準；結果顯示訓練資料品質會影響模型能力。
研究以四款大型語言模型測試低質網絡資料對推理和長文本理解的影響。 （研究團隊圖片）
這項研究由德州農工大學、德州大學奧斯汀分校及普渡大學研究人員共同進行，論文已獲2026年語言模型會議接納。研究團隊借用「腦腐」一詞形容長期接觸低質網絡資訊後出現的認知退化，並測試大型語言模型是否會受類似資料影響。
研究人員以2010年收集的100萬則公開Twitter貼文建立訓練資料集，再依互動量、篇幅及文字內容分類。高互動、短篇或帶有誇張標題、未經支持的說法和煽動語氣的貼文，被列作低質內容；互動較少而篇幅較長的貼文，則作為對照資料。
團隊用不同比例的低質和對照資料，對Llama 3 8B Instruct、Qwen2.5 7B Instruct、Qwen2.5 0.5B Instruct及Qwen3 4B Instruct 進行持續預訓練，之後以相同方式微調，再比較推理、記憶、長文本理解、倫理和人格傾向等基準測試。
推理能力下降
測試結果顯示，低質資料比例增加時，模型在部分推理及長文本理解測試的分數下降。研究團隊在論文舉例，某項推理挑戰測試的分數由低質資料比例為0%時的約75 分，降至100%時的約57分；長文本測試亦出現下滑。結果在不同模型和資料分類方法中各有差異。
研究人員把常見錯誤概括為「跳過思考步驟」：模型更容易省略推理中間環節，直接給出答案。團隊亦測試安全和人格表現，發現部分模型在低質資料訓練後，對倫理問題的回應有所改變。研究者提醒，這些測試屬模型訓練實驗，不能直接推論所有商業AI系統都已出現相同變化。
研究還觀察到，資料受歡迎程度對部分推理任務的影響較大，而篇幅長短對記憶和理解任務的作用較明顯。研究者指出，社交媒體上的高互動貼文不一定全屬低質內容，實驗使用的是按研究設計篩選的資料，分類方式會影響結果。
在補充測試中，研究團隊以較高質素資料繼續預訓練，或增加指令微調，模型能力有所改善，但未完全回復原先基準。研究將此描述為難以消除的持續影響，並非證明模型在任何情況下都不能修復；後續仍需測試其他資料來源和更大型模型。
下載APP