模型量化 专题
共 4 篇文章,按时间倒序展示。
用四元数重新发明量化:10-19倍加速的数学魔法 | 帖子 一位开发者用Clifford代数中的
用四元数重新发明量化:10-19倍加速的数学魔法 | 帖子 一位开发者用Clifford代数中的“旋子”替换了TurboQuant里的随机正交矩阵,在RTX PRO 4000上实现10-19倍加速,Apple M4上高达31倍,参数量减少44倍,而精度几乎没有损失。
TechFoco

Large Language Model Optimization: Memory, Compu
Large Language Model Optimization: Memory, Compute, and Inference Techniques 大型语言模型(LLM)训练与推理的优化技术总结: 随着模型参数规模达到数十亿,传统训练和部署方法面临巨大挑战。
TechFoco


