TechFoco Logo
首页专题归档站点地图
© 2026 TechFoco. All rights reserved.
文章归档专题网站地图站点地图 XML爬虫规则
  1. 首页
  2. /
  3. 返回归档
  4. /
  5. Apple Silicon 上跑大语言模型,MLX 框架速度总觉得不够快,speculative

Apple Silicon 上跑大语言模型,MLX 框架速度总觉得不够快,speculative

2026年04月15日•TechFoco 精选

Apple Silicon 上跑大语言模型,MLX 框架速度总觉得不够快,speculative decoding 方案又非无损,精度和加速两难。

Apple Silicon 上跑大语言模型,MLX 框架速度总觉得不够快,speculative decoding 方案又非无损,精度和加速两难。

dflash-mlx 带来 DFlash 无损推测解码,为 MLX 优化专属解决方案。

基于 Block Diffusion 论文,一次生成 16 个 token 验证,结合自定义 Metal 内核实现 tape-replay rollback 和长上下文 JIT SDPA,Qwen3.5-9B 最高 4.1x 加速,接受率 89%+。

主要功能: - 无损 DFlash 推测解码,支持 Qwen3.5 系列(4B/9B/27B/35B); - 自动 draft 模型解析,无需手动指定; - 高精度 tape-replay rollback,保持长序列一致性; - 长上下文优化(N>=1024),自定义 Metal 注意力内核; - 流式输出,支持 CLI/Server 和 OpenAI 兼容客户端; - 基准测试工具,一键对比 baseline vs DFlash 加速比。

pip install dflash-mlx 即装即用,完美适配 M 系列芯片,开发者/AI 爱好者必备。

文章链接

  • 查看原文http://github.com/bstnxbt/dflash-mlx

相关标签

推测解码MLX框架Apple Silicon模型加速无损生成

继续阅读

较新文章

平时聊天记录散落在各种平台,想复刻自己的说话风格需要折腾数据清洗、模型微调、部署聊天机器人,步骤

较早文章

付费看完了 codex 团队的采访, 说下我认为的重点: - 团队只有 40人,就 1个 pm

相关文章

查看更多

GBOS-VM 将 Googlebook OS 带到 Apple Silicon 开发虚拟机

GBOS-VM 将 Googlebook OS 带到 Apple Silicon 开发虚拟机 开源项目使用 Googlebook 官方恢复镜像,在 QEMU 中运行 Android 17,并通过 MoltenVK 将 Vulkan 转接至 Metal,实现 GPU 加速和 Chrome 运行。

2026年10月12日
QEMUAndroid

Mac App Store 应用可弃用 Intel Mac,Tahoe 成最后支持版 Apple

Mac App Store 应用可弃用 Intel Mac,Tahoe 成最后支持版 Apple 通知开发者,要求 macOS 13 及以上的 Mac App Store 通用应用现可弃用 Intel Mac 支持,以简化开发并优化下载与设备占用。

2026年09月02日
macOSIntel Mac
电子书:怎么编写推理引擎:Muser 实战指南——Apple Metal 上的 Muse Gli

电子书:怎么编写推理引擎:Muser 实战指南——Apple Metal 上的 Muse Gli

电子书:怎么编写推理引擎:Muser 实战指南——Apple Metal 上的 Muse Glimmer、kvpack 与解耦式预填充。

2026年08月31日
Apple Metal推理引擎
苹果发布 M5 Ultra 和 M6 芯片,前者最高支持 80 核心 GPU 和 512GB 内

苹果发布 M5 Ultra 和 M6 芯片,前者最高支持 80 核心 GPU 和 512GB 内

苹果发布 M5 Ultra 和 M6 芯片,前者最高支持 80 核心 GPU 和 512GB 内存,后者基于台积电最新的 2 纳米制程打造。

2026年08月26日
Apple SiliconM5 Ultra
榨干垃圾服务器:本地AI运行的底层逻辑并非买显卡

榨干垃圾服务器:本地AI运行的底层逻辑并非买显卡

榨干垃圾服务器:本地AI运行的底层逻辑并非买显卡 | blog 很多技术人都在焦虑被昂贵的算力军备竞赛抛下,但真正的高手已经在用十年前的报废服务器跑最新大模型了。

2026年06月04日
本地AI内存带宽