快速扩展在线存储，为超过10亿ChatGPT用户提供服务

每个OpenAI产品都依赖于对数据的快速、可靠的访问，无论是有人登录、检查他们的Codex设置还是在ChatGPT中开始新的对话。这些操作中的每一个都可能需要在产品做出响应之前进行许多单独的数据查找。如果这些请求很慢，产品就会感觉很慢。如果这些请求失败，产品将完全停止工作。 Habitat是我们构建的在线存储平台，以便OpenAI产品能够快速可靠地访问所需的信息。Habitat现在每秒处理超过7000万个请求，为近40个地理区域每周超过10亿人使用的产品提供支持。Habitat首次在DevDay 2023上推出是为了支持GPT，最初是一个连接到单个数据库的简单Python客户端库。如今，它是一个复杂的分布式系统，可提供超过500 PB的数据。 建设和运营如此规模的基础设施并非易事，但也不是特别具有挑战性。我们的情况独特之处在于，我们必须以前所未有的速度进行规模扩张，以支持惊人的用户增长和产品需求，同时建立一个成熟的平台。通常，系统工程师会针对10倍规模进行构建，并希望它能够保持几年，同时为下一个10倍做准备。就我们而言，过去三年我们的同比增长了10倍以上。因此，建设和运营Habitat需要一系列战术决策和排序：了解最低层的每个组件，以从我们现有的堆栈中榨取尽可能多的果汁，同时抵御存储和计算容量的紧缩，为基础投资赢得时间。 随着OpenAI的发展，Habitat必须随之发展：首先要对关键任务产品流量足够可靠，然后要对全球用户足够快，最后要巧妙地大规模运营。本文是关于我们如何扩展在线存储的两部分系列文章的第一篇。在这篇文章中，我们将分享Habitat是如何演变的，为什么

注：以上内容摘选自原始新闻，点击「访问原文」查看完整内容。