Meta/Facebook 构建超大规模 AI/GPU 集群基础设施概述

本文主要是对 Meta/Facebook 在 2024 年的一篇文章《Building Meta’s GenAI Infrastructure》的翻译和阐述，链接详见原文。文章主要讲述了作为对未来人工智能的重要投资，Meta 所构建的超大规模 AI/GPU 基础设施的设计细节。

Meta 为了进一步发掘 AI 的潜力，打造了两个大规模的 AI 集群。每个集群由高达 2.4 万张 GPU 所组成。这种设施对于深度学习的研究来说, 提供了极具规模的平台，并有力地推动了人工智能的发展。

这两个集群中，都配置了 2.4 万的 H100 GPU。针对这种高规模的 GPU 集群，为了提升计算效率，分别选用了 RoCE 和 InfiniBand 网络。高速的网络连接对于大规模并行计算来说至关重要，能够有效地提升整体运行效率，保证集群运作的流畅性。

值得一提的是，Meta 的 LLaMA3 训练模型就是在这两个集群上完成训练的。这充分体现了大规模 GPU 集群对于深度学习和 AI 发展的巨大贡献。

预计在 2024 年底，Meta 的 AI 基础设施建设将拥有高达 35 万张 H100 GPU，其总算力相当于约 60 万张 H100。这样的配置不仅能满足当前的 AI 研究需求，而且对于未来的 AI 研究也预留了足够的硬件支持。

总的来说，Meta 在 AI/GPU 基础设施设计方面的投入，无疑是对人工智能技术发展的巨大推动力。这不仅在硬件方面为 AI 研究提供了强大的支持，同时也为业界树立了一个新的、更高的标准。