Transformer 专题

共 7 篇文章，按时间倒序展示。

LLM 架构演进图谱：收敛还是分裂

LLM架构设计趋同（MoE、QK-Norm成标配），但技术路线分裂（MLA、Mamba、线性注意力混搭），核心是优化长上下文计算成本。

2026年03月19日TechFoco

重复提示词可显著提升大模型表现，原理是让每个token都能看到完整上下文，弥补单向注意力缺陷。

2026年01月25日TechFoco

50小时掌握大模型训练。两遍学习法：先建框架，再动手实践。核心是Python、数学、神经网络与Transformer。从3Blue1Brown到Karpathy课程，免费资源+刻意练习是关键。

2026年01月23日TechFoco

微软开源图生3D模型TRELLIS.2，4B参数，支持1536³分辨率，30-40秒快速生成带纹理的3D模型。

2025年12月27日TechFoco

三位AI巨擘论AGI：LeCun主张感知建模世界，Sutton强调互动奖励，Sutskever提出压缩即智能。三者互补，共同指向高效建模与学习。

2025年10月26日TechFoco

谷歌171页LLM白皮书：从Transformer到前沿架构，含源码解析与对齐技术详解。

2025年09月13日TechFoco

该项目为技术科普教程，涵盖人工智能、系统和硬件领域的前沿概念，如GGUF文件格式、推测性解码、Transformer优化等，旨在5分钟内解释复杂技术原理。

2025年02月05日TechFoco