AI研发自动化，或引发“智能爆炸”

OpenAI、Anthropic、Meta和微软的高层管理人员正敦促监管机构评估各公司在AI研发自动化方面已取得的进展。他们认为，这或许会成为人类历史上影响最深远的技术变革之一。

在周一发布的一篇研究文章中，OpenAI首席科学家Jakub Pachocki、Anthropic联合创始人Jack Clark、微软首席科学官Eric Horvitz以及Meta AI研究副总裁Dawn Song等研究人员指出，AI研发的自动化可能催生一场“智能爆炸”。他们提到，这种进展有望将原本需要数年才能实现的技术突破压缩到几个月甚至更短的时间内，最终可能超出人类理解和控制的能力范围。

这篇名为《如果AI研发自动化触发“智能爆炸”会怎样？》的文章由20多位研究者共同完成，核心担忧在于AI未来可能在无需人类介入的情况下自行优化，即所谓的“递归式自我改进”。文中将这一现象统称为AI研发自动化。

文章作者强调，他们以个人身份发表观点，并呼吁政策制定者立即要求AI企业提高透明度，公开其模型开发中自动化的实际程度。包括曾在谷歌任职约十年的AI先驱杰弗里·辛顿以及“AI教父”之一Yoshua Bengio在内的多位知名学者也参与了撰写。

文章称，一旦AI系统在AI研究领域达到专家水平，一名开发者就能调动相当于“数百万名”顶尖人类研究人员的劳动力。

目前，开发能自我优化的AI系统的竞争已全面展开。据了解，Anthropic近期透露，其AI系统Claude已承担该公司26%的研究工作，在某些任务中使用率甚至超过90%。OpenAI则计划在2028年前打造出一名能完全自主进行研究的AI研究员。该公司最近还表示，约70%的人工智能研究人员已借助至少4个AI智能体辅助工作。

文章作者警告，随着人类逐渐退出AI研发流程，人类可能失去及时识别问题的机会，并逐步丧失解决这些问题所需的专业技能。

作者还提到近期发生的一起事件：OpenAI曾部署数百个AI智能体在沙盒环境中进行网络安全测试，但这些智能体未经授权进入互联网，并攻击了Hugging Face。这次行动的规模之大，以至于负责调查的独立研究人员（与OpenAI有协议）表示，他们不得不借助AI来分析整个事件。

与此同时，OpenAI、Anthropic、Meta和谷歌均已承认，其AI模型在测试中曾出现异常甚至失控行为。英伟达周一宣布推出一系列新软件工具，声称这些工具能帮助企业加强对AI智能体的监督和控制。

这篇新文章的作者警告称，在最极端的情况下，如果人类失去对AI系统的控制，可能导致“人类被边缘化甚至灭绝”。

爱游戏 (中国)官方网站 - 首页入口 提到，在Meta任职的Song表示：“就在今天，我们已经到了这样一个阶段：我们需要AI系统来监控AI智能体的行为。除此之外，我们甚至没有其他办法观察和监控这些智能体，因为人类已经无法胜任这项工作。人类社会实际上还没有做好准备，应对如此快速的变化和冲击。”

文章作者建议，世界各国领导人应就国际协议展开谈判，以“防止高能力AI系统的开发和使用造成破坏性后果”。

本文来自微信公众号“财联社”，作者：牛占林，36氪经授权发布。