Be prepared for the unexpected! OpenAI establishes the "AI Disaster Prevention Team"

为了进一步确保人们对 AI 的担忧不成为现实，OpenAI 开始采取行动。

10 月 27 日，OpenAI 在其官网宣布，成立名为 “Preparedness”（准备）的 AI 风险防范小组。

该小组由麻省理工可部署机器学习中心主任 Aleksander Madry 领导，旨在 “跟踪、预测和防范未来人工智能系统的危险”，包括从 AI“说服和欺骗” 人类的能力（如网络钓鱼攻击），到恶意代码生成能力。

OpenAI 在博文中写道，前沿人工智能模型的能力将超过目前最先进的现有模型，有可能造福人类，但也有可能带来越来越严重的风险：

要管理前沿人工智能带来的灾难性风险，就必须回答以下问题：

前沿人工智能系统在现在和将来被滥用时有多危险？

我们如何才能建立一个强大的框架来监测、评估、预测和防范前沿人工智能系统的危险能力？

如果我们的前沿人工智能模型权重被盗，恶意行为者会如何选择利用它们？

我们需要确保我们具有对高能力人工智能系统安全所需的理解和基础设施。

OpenAI 表示，在 Aleksander Madry 的领导下，Preparedness 团队将把前沿模型的能力评估、评价和内部红队（即对模型进行渗透测试的攻击方）紧密联系在一起，从 OpenAI 在不久的将来开发的模型，到真正 “具有 AGI 级能力” 的模型。

值得注意的是，OpenAI 在博文中还将 “化学、生物、放射性和核 (CBRN) 威胁” 列为与 “自主复制和适应（ARA）”、“个体化说服” 和 “网络安全” 同等的 “灾难性风险”。

OpenAI 还称，它愿意研究 “不那么明显”、更接地气的 AI 风险领域。为了配合 Preparedness 的启动，OpenAI 正在向社区征集风险研究的想法，前十名将获得 2.5 万美元奖金和 Preparedness 的职位。

“AI 末日” 主义

尽管 OpenAI 引领了今年的 “AI 热”，但其创始人 Sam Altman 却是一位著名的 “人工智能末日论” 者——他时常担心人工智能 “可能会导致人类灭绝”。

今年 5 月，Altman 就出席了美国国会一场名为 “AI 监管：人工智能规则（Oversight of AI: Rules for Artificial Intelligence）” 的听证会。在听证会上，Altman 同意了议员们的观点，即有必要对他的公司以及谷歌和微软等公司正在开发的日益强大的人工智能技术进行监管。

在听证会后，以 Altman 为领导的 OpenAI 的高层们又在官方发表了一篇博文，呼吁 “像监管原子弹一样监管 AI”：

我们可能最终需要类似国际原子能机构（IAEA）的机构来监管超级智能方面的工作；任何超过一定能力（或计算资源等）门槛的努力都需要受到国际机构的监督，该机构可以检查系统、要求进行审计、测试产品是否符合安全标准，对部署程度和安全级别进行限制等等。追踪计算资源和能源的使用情况可以在很大程度上帮助我们实现这一想法。

三份公开声明

由于 AI 发展的速度前所未见，对于 AI 的担忧，也开始屡屡被提及。

3 月，在马斯克的率领下，数千名硅谷企业家和科学家联合签署了一份名为《暂停大型人工智能研究》的公开信，呼吁所有人工智能实验室立即暂停比 GPT-4 更强大的人工智能系统的训练，暂停时间至少为 6 个月：

最近几个月人工智能实验室掀起 AI 狂潮，它们疯狂地开展 AI 竞赛，开发和部署越来越强大的 AI。

不幸的是，目前为止，没有任何人能理解、预测或可靠地控制 AI 系统，也没有相应水平的规划和管理。

5 月，人工智能安全中心组织的一份声明称，“与流行病和核战争等其他社会规模风险一样，减轻人工智能带来的灭绝风险应该成为全球优先事项。”

该声明由 500 多名著名学者和行业领袖签署，其中包括图灵奖获得者杰弗里·辛顿（Geoffrey Hinton）和约书亚·本吉奥（Yoshua Bengio），也包括 3 个最著名 AI 公司的首席执行官：OpenAI 的 Sam Altman、DeepMind 的德米斯·哈萨比斯（Demis Hassabis）和 Anthropic 的达里奥·阿莫代（Dario Amodei）。

本周早些时候，辛顿和本吉奥在内的 24 名人工智能专家再次发表公开文章，呼吁各国政府采取行动管理人工智能带来的风险，并号召科技公将至少三分之一的 AI 研发预算用于确保安全：

我们呼吁主要科技公司和公共投资者将至少三分之一的人工智能研发预算用于确保安全和合乎道德的使用，这与他们对人工智能能力的投资相当。

我们迫切需要国家机构和国际治理机构来执行标准，以防止鲁莽行为和滥用。为了跟上快速进步并避免僵化的法律，国家机构需要强大的技术专长和迅速采取行动的权力。为了应对国际竞争态势，他们需要有能力促进国际协议和伙伴关系。

最紧迫的审查应该是前沿的人工智能系统：少数最强大的人工智能系统将具有最危险和不可预测的能力。

文章建议，监管机构应要求模型注册、保护举报人、报告事件以及监控模型开发和超级计算机的使用。为了缩短法规出台的时间，主要人工智能公司应立即做出 “如果——那么” 承诺：如果在其人工智能系统中发现特定的红线功能，他们将采取具体的安全措施。