机器之心发布

机器之心编辑部

人工智能（AI）的安全问题，正以前所未有的关注度在全球范围内被讨论。

日前，OpenAI 联合创始人、首席科学家 Ilya Sutskever 与 OpenAI 超级对齐团队共同领导人 Jan Leike 相继离开 OpenAI，Leike 甚至在 X 发布了一系列帖子，称 OpenAI 及其领导层忽视安全而偏爱光鲜亮丽的产品。这在业界引起了广泛关注，在一定程度上凸显了当前 AI 安全问题的严峻性。

在他们看来，AI 模型的安全问题，已经上升到足够威胁人类未来生存的水平。

同样，AI 模型的安全问题，也已经是可以影响每一个人、每一个人都有必要关心的话题。

5 月 22 日，注定是人工智能史上的一个重大时刻：OpenAI、谷歌、微软和智谱AI 等来自不同国家和地区的公司共同签署了前沿人工智能安全承诺（Frontier AI Safety Commitments）；欧盟理事会正式批准了《人工智能法案》（AI Act），全球首部 AI 全面监管法规即将生效。

再一次，AI 的安全问题在政策层面被提及。

人工智能首尔峰会“宣言”

在以“安全、创新、包容”为议题的“人工智能首尔峰会”（AI Seoul Summit）上，来自北美、亚洲、欧洲和中东地区的 16 家公司就 AI 开发的安全承诺达成一致，共同签署了前沿人工智能安全承诺，包括以下要点：

确保前沿 AI 安全的负责任治理结构和透明度；

基于人工智能安全框架，负责任地说明将如何衡量前沿 AI 模型的风险；

建立前沿 AI 安全模型风险缓解机制的明确流程。

图灵奖得主 Yoshua Bengio 认为，前沿人工智能安全承诺的签署“标志着在建立国际治理制度以促进人工智能安全方面迈出了重要一步”。

日前，智谱AI 也受邀亮相 AI 顶会 ICLR 2024，并在题为“The ChatGLM's Road to AGI”的主旨演讲中分享了他们针对 AI 安全的具体做法。

我们也发现，在一篇近期发表的论文中，智谱AI、清华团队介绍了一种通过利用大量自生成的否定词而实现的无反馈（feedback-free）大型语言模型对齐方法——Self-Contrast。

欧盟理事会正式批准《人工智能法案》

同日，欧盟理事会也于同日正式批准了《人工智能法案》（AI Act），这是全球首部 AI 全面监管法规，这一具有里程碑意义的人工智能法规将于下月生效，目前仅适用于欧盟法律范围内的领域，或将为商业和日常生活中使用的技术设定一个潜在的全球基准。

“这部具有里程碑意义的法规是世界上第一部此类法规，它解决了一个全球性的技术挑战，同时也为我们的社会和经济创造了机遇，” 比利时数字化大臣 Mathieu Michel 在一份声明中说。

这一综合性的 AI 立法采用“基于风险”的方法，意味着对社会造成伤害的风险越高，规则就越严格。例如，不构成系统性风险的通用目的 AI 模型将承担一些有限的要求，但那些具有系统性风险的则需要遵守更严格的规定。

对违反《人工智能法案》中行为的罚款，该法案设定为违规公司前一个财年全球年营业额的百分比或预定的金额，以较高者为准。

如今，无论是小到科技公司，还是大到政府机构，都已经将预防、解决 AI 安全问题提上日程。正如牛津大学工程科学系教授 Philip Torr 所言：

“在上一次人工智能峰会上，全世界一致认为我们需要采取行动，但现在是时候从模糊的建议转变为具体的承诺了。”

© THE END