超级AI七年内将问世 OpenAI拟“大手笔”投入严防失控

砍柴网  •  扫码分享
我是创始人李岩:很抱歉!给自己产品做个广告,点击进来看看。  

7月6日讯  ChatGPT开发商OpenAI周三(5日)表示,该公司计划投入大量资源,并创建一个新的研究团队,以确保其人工智能(AI)对人类来说是安全的,最终实现AI的自我监督。

超级AI七年内将问世 OpenAI拟“大手笔”投入严防失控

OpenAI联合创始人Ilya Sutskever和负责提高系统安全性的AI一致性团队负责人Jan Leike在一篇博客文章中写道:“超级智能的巨大力量可能……导致人类被剥夺权力,甚至人类灭绝。”

“目前,我们还没有一个解决方案来操控或控制一个潜在的超智能AI,并防止它失控。”他们写道。

超级AI七年内将问世 OpenAI拟“大手笔”投入严防失控

AI一致性(alignment)指的是AI的行为需符合设计者的利益和预期目标。

20%算力用来解决AI失控问题

他们预测,超智能AI(即比人类更聪明的系统)可能在这个十年(2030年前)就会到来,人类将需要比目前更好的技术来控制超智能AI,因此需要在所谓的“一致性研究”方面取得突破,该研究的重点是确保人工智能对人类有益。

根据他们的说法,在微软(Microsoft)的支持下,OpenAI将拿出未来四年所获算力的20%用于解决AI失控的问题。此外,该公司正在组建一个新的团队来组织这项工作,称为超级一致性团队。

超级AI七年内将问世 OpenAI拟“大手笔”投入严防失控

据悉,该团队的目标是创建一个“人类级别”的AI研究人员,然后通过大量的计算能力进行扩展。OpenAI表示,这意味着他们将使用人类反馈来训练AI系统,训练AI系统来辅助人类评估,然后最终训练AI系统进行实际的一致性研究。

专家质疑

不过,这一举措刚刚宣布就受到了专家的质疑。人工智能安全倡导者Connor Leahy表示,OpenAI的计划从根本上存在缺陷,因为可达到“人类水平”的初级版AI,可能会在被用于解决AI安全问题之前失控并造成严重破坏。“

他在接受采访时说:“在构建人类水平的智能之前,你必须先解决一致性问题,否则默认情况下你无法控制它。我个人认为这不是一个特别好的或安全的计划。”

AI的潜在危险一直是AI研究人员和公众最关心的问题。今年4月,一群AI行业领袖和专家签署了一封公开信,呼吁暂停训练比OpenAI新推出的GPT-4模型更强大的人工智能系统至少6个月,理由是它们对社会和人类构成潜在风险。

一项最新的民意调查则发现,超过三分之二的美国人担心AI可能产生的负面影响,61%的人认为AI可能威胁到人类文明。

【来源: 财联社

随意打赏

提交建议
微信扫一扫,分享给好友吧。