OpenAI的新推理技术引起了人工智能安全专家的警惕

OpenAI的新Astra模型将使用一种名为“递归深度”的推理技术，使其能够在大多数推理模型所特有的顺序思维之外运行。这种技术也被称为“不透明重现”，可能会使模型的思维链更难监控--这让人工智能安全专家感到不安。尽管据报道Astra对这种技术的使用有限，但它的出现仍然引起了人工智能安全专家的严重担忧。消息传出后，红杉首席执行官巴克·施莱格里斯在一篇帖子中写道：“我对阿斯特拉使用不透明重复的报道非常担忧。”“我不知道Astra是否比之前的型号更难监测CoT。但如果OpenAI进一步推动这项技术，他们将可以选择大幅增加复发率并完全破坏CoT的可监测性。”长期人工智能安全倡导者Zvi Mowshowitz也发表了看法，并写道，可能有必要制定法律来防止人工智能实验室之间的“逐底竞赛”。Mowshowitz写道：“这项技术是在玩火，冒着OpenAI和Anthropic一直在努力建立的禁忌，即我们努力尽可能长时间地保持思想链的忠实性和可监测性。”“更密集地使用此类技术可能会损害可监测性。”在正常情况下，推理模型的思维链提供了模型试图解决问题时所采取的顺序步骤。虽然这种表示并不完美，但它仍然是监控不当行为或失调的宝贵工具。在OpenAI最近的流氓代理活动中，思想链记录是弄清楚代理为何会这样做的重要工具。在不透明的重现中，该模型采用了一种不太线性的方法，在循环中处理同一个查询多次。结果留下的清晰痕迹更少，有效地绕过了传统的思想链记录。至关重要的是，阿斯特拉对t的使用

注：以上内容摘选自原始新闻，点击「访问原文」查看完整内容。