用四元数重新发明量化:10-19倍加速的数学魔法 | 帖子 一位开发者用Clifford代数中的
用四元数重新发明量化:10-19倍加速的数学魔法 | 帖子 一位开发者用Clifford代数中的“旋子”替换了TurboQuant里的随机正交矩阵,在RTX PRO 4000上实现10-19倍加速,Apple M4上高达31倍,参数量减少44倍,而精度几乎没有损失。
TechFoco

共 1 篇文章,按时间倒序展示。
用四元数重新发明量化:10-19倍加速的数学魔法 | 帖子 一位开发者用Clifford代数中的“旋子”替换了TurboQuant里的随机正交矩阵,在RTX PRO 4000上实现10-19倍加速,Apple M4上高达31倍,参数量减少44倍,而精度几乎没有损失。
