企业为简单的人工智能查询支付了过高的费用- Snowflake的门户现在自动路由，将成本削减高达3倍

大规模运行人工智能代理的企业团队发现，单一模型无法很好地处理每项任务--要么模型对于简单问题来说太昂贵，要么对于困难问题来说能力不够。模型路由（自动为每个任务选择正确的模型）正在成为解决方案。 Snowflake的Cortex AI Gateway现在提供动态模型路由来解决这个问题：企业可以选择“自动”而不是固定模型，系统将每个任务路由到提供质量和成本最佳组合的模型。Snowflake表示，在发现简单问题通常由其最强大的模型处理后，该功能可以将某些工作负载的代币成本降低多达3倍（该数字来自该公司自己的内部测试），从而使回复变得更加昂贵且速度比必要的要慢。 此举正值行业更广泛地转向自动化模型路由之际。Databricks、AWS、Google Cloud和Nvidia都宣布了某种形式的模型路由技术。Snowflake认为，模型路由不仅仅是价格和性能，还与治理和上下文有关。 Snowflake人工智能副总裁巴里斯·古尔特金（Baris Gultekin）告诉VentureBeat：“对于建立高质量的企业级代理，正确的环境和治理至关重要。”“背景、信任和模式选择三者息息相关。" 该功能基于Cortex AI Gateway，Snowflake于2026年7月推出，作为代理和模型流量的治理层。古尔特金说，在动态路由之前，模型选择根据每个任务的静态列表运行，而不是真正的后备系统。 古尔特金表示，动态路由本身运行在两种机制上。 小模型先尝试一下。 在Snowflake所谓的顾问模式下，较小的模型首先尝试一项任务。如果无法完成工作，它就会调用更大的模型作为工具，并从那里继续。 分类器根据任务历史记录进行排序。 根据过去的查询训练的单独分类器自动路由简单的查询

注：以上内容摘选自原始新闻，点击「访问原文」查看完整内容。