MoE 专题

共 4 篇文章，按时间倒序展示。

LLM 架构演进图谱：收敛还是分裂

LLM架构设计趋同（MoE、QK-Norm成标配），但技术路线分裂（MLA、Mamba、线性注意力混搭），核心是优化长上下文计算成本。

2026年03月19日TechFoco

LLM优化三大方向：显存优化（Flash Attention/激活检查点）、计算优化（序列打包/高效Transformer）、推理优化（KV缓存/量化技术）。涵盖训练与推理全流程关键技术。

2025年10月07日TechFoco

谷歌171页LLM白皮书：从Transformer到前沿架构，含源码解析与对齐技术详解。

2025年09月13日TechFoco

DeepSeek-MoE-ResourceMap 提供 DeepSeek V3 架构解析、模型训练部署策略及相关论文文档，助力高效应用与学术研究。

2025年02月16日TechFoco