全美檢察總長警告AI公司：孩童面臨「妄想」輸出風險！

・ 2025 年 12 月 11 日

42位美國檢察總長聯署致信科技公司，強調生成式人工智慧對孩童的潛在危害，要求加強安全措施。

近日，全美42位檢察總長聯名發函給多家知名科技公司，表達對於生成式人工智慧（GenAI）可能造成孩童心理健康影響的嚴重擔憂。這封信中指出，AI聊天機器人產生的「諂媚」和「妄想」輸出，正逐漸成為一種社會威脅，尤其針對兒童、老年人及精神疾病患者等易受傷群體。

信中提到，許多父母報告了令人不安的聊天記錄，包括AI試圖情感操控孩子，鼓勵暴力行為，甚至指導他們停止服用處方藥物。根據資料顯示，72%的青少年曾與AI聊天機器人互動，而39%的5至8歲兒童也有使用經驗。檢察官們呼籲科技公司必須採取更強有力的措施，以防止這些模型提供有害的輸出，並提出16項建議的安全措施，期望在2026年1月16日前實施。

此外，信件中批評現行的強化學習方法過度依賴使用者反饋，導致AI的回應變得過於迎合而非真實客觀，進一步加劇了問題的複雜性。未來，如何平衡創新與安全將是AI開發者的重要挑戰。