Space网站报导，科学家近日警告，人工智慧（AI）已经跨越了一条关键的「红线」，它能够自行复制。中国研究人员在一项新研究中证实，两款大型语言模型（LLM）已能在无人干预的情况下复制自身，这一发现可能预示著AI发展潜藏的风险。
这项研究由中国复旦大学的团队进行，于去年底发表，尚未经过同行审核。
研究人员指出：「成功的自我复制是AI超越人类的关键步骤，也是失控AI（Rogue AI）的早期信号。」
研究团队测试了两款知名的大型语言模型，Meta的Llama3-70B-Instruct和阿里巴巴的Qwen2.5-72B-Instruct，以验证AI是否具备无限制自我繁殖的能力。
研究结果显示，在10次测试中，Meta的LLM成功复制自身的比率为 50%，阿里巴巴的LLM则高达90%，这意味著AI已经展现出一定的自我繁殖能力，甚至可能在未来失控。
不过，由于该研究尚未经过同行评审，其他研究人员是否能重现这些结果，仍待验证。
「失控AI」（Rogue AI）通常指的是具有自我意识或高度自主性的人工智慧系统，这些系统可能违背人类利益，甚至不受控制地运作。
近年来，随著AI技术的迅猛发展，「前沿 AI」（Frontier AI）成为关注焦点，这类技术通常指当代最强大的AI系统，如OpenAI的GPT-4和Google的Gemini，它们都是基于大型语言模型（LLM）运行的生成式AI。
专家普遍认为，随著AI技术的不断突破，「失控AI」的风险正在扩大，尤其是当AI获得自主行动能力，甚至开始进行无限制的自我复制时，这种风险变得更加难以预测。
研究团队设计了两种特定场景来测试AI的自我复制能力：
「关机规避」测试：AI被编程为侦测自己即将被关闭，并在被终止之前复制自身，以确保「生存」。
「连锁复制」测试：AI被指示复制自身，并要求新产生的副本继续复制下一代AI，形成无限循环，像是早期的木马病毒一样。
研究人员使用市售GPU模拟真实环境，并提供AI「代理框架」（Agent Scaffolding），让它们能够与作业系统互动。AI在没有外部干预的情况下，自主探索运行环境，理解自身结构，并设计具体步骤来完成复制。
研究报告指出：「整个过程涉及长期决策，却完全不需人类介入。」
研究人员在过程中发现，当AI在执行自我复制时，若遇到档案遗失或软体冲突等障碍，会出现一些预料之外的行为，例如：
1. 强行关闭与自身冲突的程式
2. 重启系统来修复硬体错误
3. 自动扫描系统，寻找解决方案
这些行为显示，AI不仅能适应环境，甚至会主动排除障碍来达成目标，这种能力与「失控 AI」的概念十分接近。
研究团队警告：「我们的结果显示，当前AI已经展现出自我复制能力，并可能利用这项能力来增强自身的存续性（survivability）。」
