专家警告，如果现在不采取行动，人工智能将灭绝

专家警告，如果现在不采取行动，人工智能将灭绝

时间戳：30年2023月8日下午25:XNUMX
源节点： 2688105

还有另一封关于 AI 大行其道的公开信。 这一次，一大批技术领袖、ML 名人，甚至一些名人都签署了协议，敦促世界更加严肃地对待所谓的人工智能带来的灭绝级威胁。 

更恰当的说法是来自 AI 安全中心 (CAIS) 的消息，由 AI pioneer 等个人签署 杰弗里·欣顿、OpenAI CEO Sam Altman、加密大师 Martin Hellman、微软 CTO Kevin Scott 等人是 单句陈述句 如果无人理会，预测世界末日：

“减轻人工智能灭绝的风险应该与流行病和核战争等其他社会规模的风险一起成为全球优先事项。” 

为什么这么简短？ 目标是“展示关注人工智能灭绝风险的人工智能科学家、技术领导者和教授之间广泛且不断壮大的联盟。 我们需要对利害关系的广泛认可，这样我们才能进行有益的政策讨论，”CAIS 主任 Dan Hendrycks 告诉 注册.

CAIS 在其报告中没有提及通用人工智能 (AGI) 人工智能风险清单，我们注意到。 Hendrycks 告诉我们，当前一代的模型，例如 ChatGPT，并不是对人类的世界末日威胁。 本周的警告是关于接下来可能发生的事情。

“本声明所指的灾难性威胁类型与未来的高级人工智能系统有关，”亨德里克斯认为。 他补充说，达到“世界末日威胁”水平所需的必要进步可能只有两到十年，而不是几十年。 “我们现在需要准备。 然而，可能导致灾难性后果的人工智能系统不一定是 AGI，”他说。 

因为无论如何，人类是完全和平的

一个这样的 威胁 是武器化，或者有人可以将仁慈的人工智能重新用于具有高度破坏性的想法，例如使用药物发现机器人开发化学或生物武器，或使用强化学习进行基于机器的战斗。 也就是说，人类已经完全有能力制造这些类型的武器，这些武器可以摧毁一个人、一个社区、一个城市或一个国家。

我们被警告说，人工智能也可以被训练来追求它的目标，而不考虑个人或社会价值观。 它可能会“削弱”人类，最终将技能和能力拱手让给自动化机器，导致 AI 控制者与那些被自动化取代的人之间的权力失衡，或者被用来有意或无意地传播虚假信息 除此以外.

同样，其中涉及的 AI 都不需要是通用的，并且看到当前一代 AI 的发展潜力可能会带来 CAIS 担心的各种风险并不过分。 您可能对软件可能或将具有的真正破坏性或能力，以及它实际可以实现的目标有自己的看法。

CAIS 的论点是，检查和解决已经感受到的人工智能的负面影响，并将这些现存的影响转化为远见，这一点至关重要。 “当我们努力应对眼前的人工智能风险时……世界各地的人工智能行业和政府也需要认真面对未来人工智能可能对人类生存构成威胁的风险，”Hendrycks 说过 在一份声明中。

“世界已成功合作减轻与核战争相关的风险。 解决未来 AI 系统带来的危险需要付出同样的努力，”Hendrycks 敦促道，并得到了一系列企业、学术和思想领袖的支持。 

马斯克不在船上

其他签署人包括谷歌 DeepMind 首席科学家 Ian Goodfellow、哲学家 David Chalmers 和 Daniel Dennett、作家兼博主 Sam Harris 以及音乐家/Elon Musk 的前任 Grimes。 说到这个人本人，没有马斯克的签名。 

推特首席执行官 是 在签署协议的人中 公开信 由未来生命研究所于今年三月发布，敦促 六个月的停顿 关于“比 GPT-4 更强大”的人工智能系统的培训。 不出所料，OpenAI CEO Altman 的签名缺席了 这 特别的信，表面上是因为它直接叫他的公司出去。 

OpenAI 已经发布了 自己的警告 关于先进人工智能带来的威胁，并呼吁建立类似于国际原子能机构的全球监管机构来规范人工智能的使用。

奥特曼在同一天发出警告和监管电话，这在历史上来得不是时候 威胁 将 OpenAI 和 ChatGPT 从欧盟撤出，而不是欧盟 人工智能法. 他支持的规则是一回事，但奥特曼告诉布鲁塞尔，他们对人工智能限制的想法是一座监管桥梁，太过分了，非常感谢。 

欧盟议员 回应 荷兰环境保护部 Kim van Sparrentak 表示，他们不会受 OpenAI 的支配，如果公司不能遵守基本的治理和透明度规则，“他们的系统不适合欧洲市场”。 

我们已经要求 OpenAI 澄清 Altman 的立场，如果我们收到回复，我们会更新这个故事。 ®

时间戳记：

更多来自 注册