Azure Maia 300 公布架构,针对长上下文推理扩展内存与互连
Azure Maia 300 公布架构,针对长上下文推理扩展内存与互连 第三代 Maia 加速器采用 NUMA 芯粒设计,单颗配备 288GB HBM4、18TB/s 内存带宽,完整机架可集成 96 颗加速器。
Azure Maia 300 公布架构,针对长上下文推理扩展内存与互连 第三代 Maia 加速器采用 NUMA 芯粒设计,单颗配备 288GB HBM4、18TB/s 内存带宽,完整机架可集成 96 颗加速器。
公布的“最高 7 倍 token 吞吐量”是相对 Maia 200 的机架配置比较,不是对所有 GPU 或应用的通用性能结论;推理平台选型仍需按模型、精度和实际负载评估。