Inference Optimization 专题

共 1 篇文章,按时间倒序展示。

Awesome AI Efficiency:AI效率全景指南,助力打造更快、更小、更环保的智能系

Awesome AI Efficiency:AI效率全景指南,助力打造更快、更小、更环保的智能系统🌿 • 涵盖量化、剪枝、缓存、蒸馏、分解、编译、多参数微调、推理优化等核心技术 • 结合专用硬件与训练加速,提升模型执行速度,降低能耗与成本 • 深度解读AI能耗现状:单次查询能耗高达3-40Wh,1亿用户每天发起10亿次请求,背后环境代价惊人 • 多维度工具集成:Pruna、TensorRT、ONNX、Code Carbon等,助力模型压缩与绿色计算 • 丰富资源库:论文、报告、文章、博客、书籍、课程全覆盖,追踪行业最新进展与最佳实践

TechFoco
Awesome AI Efficiency:AI效率全景指南,助力打造更快、更小、更环保的智能系