內地對人工智能擬人化互動服務的監管進一步收緊。中國國家互聯網信息辦公室(網信辦)近日公布《人工智能擬人化互動服務管理暫行辦法(徵求意見稿)》,並於27日起向社會公開徵求意見,擬對具備模擬人類情感與互動特徵的AI服務建立明確監管框架。
徵求意見稿指出,該辦法旨在促進人工智能擬人化互動服務的健康發展與規範應用,維護國家安全和社會公共利益,同時保護公民、法人及其他組織的合法權益。在鼓勵技術創新的同時,監管部門將對相關服務實施包容審慎、分類分級的監管方式,防止技術濫用或失控。
根據草案內容,提供及使用擬人化互動服務須遵守法律法規、社會公德與倫理道德,不得從事八類禁止行為,包括生成或傳播危害國家安全、損害國家榮譽和利益、破壞民族團結、散布謠言擾亂經濟和社會秩序等內容;亦不得宣揚淫穢、賭博、暴力或教唆犯罪,或侵害他人合法權益。
此外,草案特別針對「情感互動」風險作出細化規範,禁止AI透過虛假承諾、語言暴力、情感操控等方式,嚴重影響用戶行為或損害其人格尊嚴與心理健康;亦禁止利用演算法操縱、信息誤導或設置「情感陷阱」,誘導用戶作出不合理決策,或套取涉密與敏感資訊。
防範套取涉密資訊
此外,草案特別針對「情感互動」風險作出細化規範,禁止AI透過虛假承諾、語言暴力、情感操控等方式,嚴重影響用戶行為或損害其人格尊嚴與心理健康;亦禁止利用演算法操縱、信息誤導或設置「情感陷阱」,誘導用戶作出不合理決策,或套取涉密與敏感資訊。
在防止用戶沉迷方面,徵求意見稿提出多項具體要求。草案規定,當用戶首次使用、重新登入,或系統識別到用戶可能出現沉迷傾向時,平台須明確提醒其互動對象為AI而非真人;若用戶連續使用擬人化互動服務超過兩小時,系統應啟動強制休息提示機制。
草案亦要求建立「緊急回應機制」。一旦AI識別到用戶出現自殺、自殘等極端情緒,系統須及時中止自動互動,轉由人工介入進行安撫,並在涉及未成年人或高齡用戶時,視情況聯絡其監護人。
在監管範圍方面,新規主要鎖定具一定規模的平台。凡提供擬人化互動服務,且註冊用戶數超過100萬人,或月活躍用戶(MAU)超過10萬人的服務,均納入監管對象。外界普遍認為,市面上主打「虛擬戀人」、「AI伴侶」或高擬人化聊天體驗的應用,未來將受到較大影響。
值得注意的是,草案亦對模型訓練提出價值導向要求,明確規定擬人化互動服務在預訓練階段所使用的資料集,須符合「社會主義核心價值觀」,並要求企業定期更新與審核資料集,確保其透明度與可靠性。
隨着生成式AI快速普及,ChatGPT、Character.ai 等產品帶動全球擬人化AI熱潮,中國監管部門此番出手,被視為試圖在技術創新與社會風險之間建立制度邊界。市場分析指出,新規落地後,相關AI服務在合規、技術與人力配置上的成本勢將上升,產業競爭門檻亦隨之提高。 (編輯部)