苹果发布 M5 Ultra 与 M6 强化本地 AI 推理
苹果发布 M5 Ultra 和 M6 芯片。M5 Ultra 最高支持 80 核 GPU 与 512GB 内存,M6 采用台积电 2 纳米制程,二者均重点优化 AI 性能。M5 Ultra 搭配 512GB 内存可...
TechFoco

共 4 篇文章,按时间倒序展示。
苹果发布 M5 Ultra 和 M6 芯片。M5 Ultra 最高支持 80 核 GPU 与 512GB 内存,M6 采用台积电 2 纳米制程,二者均重点优化 AI 性能。M5 Ultra 搭配 512GB 内存可...

本地大模型调优的核心在于显存和内存带宽管理。本文详解了显存分配、KV Cache量化、CPU调度及投机采样等技巧,帮助用户在不升级硬件的情况下实现性能翻倍。

Unsloth 发布教程,介绍如何通过 MCP 协议将 Qwen 或 Gemma 等本地大模型与外部工具(如本地文件、浏览器、Vercel、GitHub)连接,实现本地化、隐私安全的工具调用。

本文探讨了LocalLLaMA社区中AI生成内容泛滥的现象,分析了其对社区信噪比和内容质量的负面影响,并引出了关于技术社区核心价值的讨论。
