评估工具发现了定性审查无法发现的事情：人工智能模型在错误时最有信心

在大型语言模型（LLM）辅助工具的开发过程中，有一个步骤大多数团队都会跳过，因为它繁琐，耗时，并且不会产生最终用户可见的结果：验证模型所说的实际上是正确的。不流利，不连贯，不相关-正确的意思是准确地识别工具要解决的特定问题的正确答案。 “这个输出对我来说听起来是正确的”和“这个输出是可验证的正确的”之间的差距是大多数LLM辅助企业工具悄悄失败的地方。他们通过内部审查，因为输出听起来是正确的。他们在生产中失败，因为这些人没有根据基本事实进行审查-他们正在根据他们的直觉进行审查，一个好的答案应该是什么样的。 随着LLM辅助工具从生产力配件转变为影响实际业务决策的组件，这种区别更加重要。如果您的人工智能辅助工具正在塑造分析师如何调查数据质量问题，合规审查人员如何决定是否升级标记的记录，或者运营团队如何分类验证失败-其输出的准确性具有实际影响。“似乎合理”并不是一个适当的评价标准。 企业工具中LLM输出的标准评估方法是定性的：由具有领域知识的人审查输出样本，根据良好答案的心理模型进行判断，如果太多输出看起来不对劲，则会调整提示。 这会发现一类特定的问题：明显错误、格式不佳或偏离主题的输出。这些都是值得关注的真正问题。它们也是最容易的。 定性评估始终忽视的是一类错误的输出，如果不对照外部事物，就很难看出这些输出的错误程度。以听起来权威、基于的语言自信地指出错误的根本原因的解释

注：以上内容摘选自原始新闻，点击「访问原文」查看完整内容。