并行计算 专题

LLM 优化技术：内存、计算与推理

本文系统梳理了大型语言模型在训练与推理阶段的优化技术，涵盖显存、计算和推理三大方向，包括 Flash Attention、量化、并行策略等前沿方法，旨在应对模型规模增长带来的挑战。