长期运行的人工智能代理悄悄放弃合规规则，更大的上下文窗口无法解决这个问题

想象一下部署人工智能代理来运行多日主数据验证工作流程。到第三天，它已经吸收了数千条记录。您一开始就将基线治理规则硬编码到系统提示中了吗？他们走了。被直接从活动内存中推出。 系统不会崩溃。它不会触发单个可观察性警报。它只是继续运行，悄悄地生成输出，同时忽略您认为已锁定的核心约束。 几周后， 内部审计 暴露了巨大的合规差距。当您的团队追溯到问题时，他们会在第9天找到根本原因。就在那一刻，模型忘记了规则。对于数据基础设施管理人员和人工智能团队来说，这种无声的漂移不是一次性的错误。这是一个系统性的架构故障，威胁到企业治理的核心。 基础设施团队喜欢依赖标准的CI/CD管道和QA周期。他们认为这些过程会捕获这种衰变。在实践中，他们很少这样做。 在干净的试点环境中，上下文窗口很小。大型语言模型（LLM）的注意力机制完美映射到您的 系统提示 .但LLM是概率生成引擎。它们不是确定性数据库。一旦您的代币序列扩展到数十万，注意力就会减弱。 研究人员称之为“迷失在中间”现象。不要将其误认为是简单的检索错误。这是一个严重的架构失败。该模型失去了可丢弃的对话上下文和不可变的主数据规则之间的界限。 标准的回收增强发电（RAG）管道无法在这里拯救您。载体数据库非常擅长查找语义相似的文本。但他们无法强制国家坚持。他们无法用严格的操作约束来推翻概率输出。如果模型决定忽略某个规则，你的vector store不会停止它。 将上下文窗口扩展到一百万个令牌并不能解决这个问题。也不会建造

注：以上内容摘选自原始新闻，点击「访问原文」查看完整内容。