LLM 架构演进图谱:收敛还是分裂LLM架构设计趋同(MoE、QK-Norm成标配),但技术路线分裂(MLA、Mamba、线性注意力混搭),核心是优化长上下文计算成本。2026年03月19日•TechFocoLarge Language ModelsLLM ArchitectureAttention Mechanism
谷歌 Sequential Attention 技术解析:让 AI 模型又快又准谷歌Sequential Attention技术通过序列化注意力权重选择特征子集,实现模型压缩与加速,同时保持准确性。2026年02月09日•TechFocoAI OptimizationModel CompressionAttention Mechanism
重复提示词:大模型性能提升的零成本技巧重复提示词可显著提升大模型表现,原理是让每个token都能看到完整上下文,弥补单向注意力缺陷。2026年01月25日•TechFocoLarge Language ModelsPrompt EngineeringAttention Mechanism
谷歌 171 页 LLM 白皮书 技术全景指南谷歌171页LLM白皮书:从Transformer到前沿架构,含源码解析与对齐技术详解。2025年09月13日•TechFocoLLMTransformerAttention Mechanism