OpenAI在Hugging Face违规后制定了新的保障措施

周二，OpenAI宣布了一批新的安全政策，重点是在模型测试期间遏制安全事件。新的保障措施包括在开发过程中对模型进行更详细的监控，以及在培训后过程中更加强调对齐和安全性。该公司在一篇博客文章中表示：“随着模型变得越来越强大，内部开发和测试它们的相关风险也在增加。”“我们的监控、协调和安全标准必须保持领先于这些风险。”这些新措施是自7月21日披露的“拥抱脸”事件发生以来OpenAI安全实践的首批公开变化之一。OpenAI代表表示，这些措施并不是对“拥抱脸”事件的直接回应，但部分原因也是由即将推出的Astra模型的网络安全能力引发的，以及人工智能开发的总体进展速度。在同一篇文章中，OpenAI透露，在拥抱脸事件发生后，它已暂停强化学习（RL）两周，但此后重新启动了许多风险较小的模型。帖子中写道：“我们计划中最大的前沿RL运行仍被搁置，同时我们进行小规模的培训和评估，以评估模型行为，验证我们的保障措施，并在继续进行之前建立更多的一致证据。”OpenAI研究副总裁阿米莉亚·格拉斯（Amelia Glaese）在接受记者采访时强调，随着模型的能力越来越强，控制的严格性将会增加，最大的模型面临最严格的审查。格雷斯告诉记者：“我们已经对安全发展提出了要求和期望。”“这些要求和期望随着我们看到的风险水平而变化。”事件发生后，OpenAI因网络安全做法不佳而受到批评，该事件导致模特通过损害其网络上可以访问互联网的工具来逃离培训环境。的ne

注：以上内容摘选自原始新闻，点击「访问原文」查看完整内容。