TechFoco Logo
首页专题归档站点地图
© 2026 TechFoco. All rights reserved.
文章归档专题网站地图站点地图 XML爬虫规则
  1. 首页
  2. /
  3. 返回归档
  4. /
  5. Windows ML 实验性接入 GGUF 与原生推理 API

Windows ML 实验性接入 GGUF 与原生推理 API

2026年10月08日•TechFoco 精选

Windows ML 实验性接入 GGUF 与原生推理 API Windows ML 新增实验性 llama.cpp 集成,可通过文本生成 API 使用 GGUF 或 ONNX 模型,并提供 OpenAI 兼容的本地端点。

Windows ML 实验性接入 GGUF 与原生推理 API Windows ML 新增实验性 llama.cpp 集成,可通过文本生成 API 使用 GGUF 或 ONNX 模型,并提供 OpenAI 兼容的本地端点。

新的 Runtime API 预览支持显式设备放置与多模型流水线,原 ONNX Runtime 接口继续支持;上线前应核查实验版支持场景和设备限制。

文章链接

  • 查看原文https://devblogs.microsoft.com/foundry-on-windows/build-on-winml-oct-7-26/

相关标签

Windows MLllama.cppGGUFONNXRuntime APIOpenAI 兼容端点

继续阅读

较新文章

ICANN 公示新一轮顶级域名申请 2026 轮次已公布来自 481 名申请者的 1,615 份

较早文章

Copilot 将把本地模型纳入 HydraFusion 路由 GitHub Copilot 计

相关文章

查看更多

Backburner 探索 Mac 与 iPhone 协同本地推理

Backburner 探索 Mac 与 iPhone 协同本地推理 MIT 开源的预发布项目 Backburner 基于定制 llama.cpp,将部分提示处理及长上下文 KV 注意力计算分配给通过 USB-C 连接的 iPhone,并提供本地兼容 API。

2026年10月08日
local inferencellama.cpp
本地大模型调优指南:从跑通到跑爽的进阶地图

本地大模型调优指南:从跑通到跑爽的进阶地图

本地大模型调优指南:从跑通到跑爽的进阶地图 | blog 很多人玩本地大模型(Local LLM)还停留在“能跑就行”的阶段,其实通过合理的参数调优,性能翻倍甚至画质/逻辑提升并非难事。

2026年06月24日
本地大模型LLM调优
本地运行大模型推理需要复杂的Python环境、Ollama笨重二进制或llama.cpp编译烦恼

本地运行大模型推理需要复杂的Python环境、Ollama笨重二进制或llama.cpp编译烦恼

本地运行大模型推理需要复杂的Python环境、Ollama笨重二进制或llama.cpp编译烦恼,依赖多、启动慢、配置麻烦。

2026年04月30日
Rust本地推理
打开AI黑盒:让大模型的内部结构肉眼可见 | 帖子 | 项目地址 | 在线体验 | 经典参考 我

打开AI黑盒:让大模型的内部结构肉眼可见 | 帖子 | 项目地址 | 在线体验 | 经典参考 我

打开AI黑盒:让大模型的内部结构肉眼可见 | 帖子 | 项目地址 | 在线体验 | 经典参考 我们每天都在使用大语言模型,但它们内部究竟长什么样?

2026年02月11日
模型可视化GGUF
Model Explorer ONNX Adapter 是一个专为 ONNX 模型设计的可视化插

Model Explorer ONNX Adapter 是一个专为 ONNX 模型设计的可视化插

Model Explorer ONNX Adapter 是一个专为 ONNX 模型设计的可视化插件,基于流行的 Model Explorer 项目,帮助开发者更直观地理解模型结构和数据流向。

2025年10月13日
ONNX模型可视化
这是一个简单的技术科普教程项目,主要聚焦于解释一些有趣的,前沿的技术概念和原理

这是一个简单的技术科普教程项目,主要聚焦于解释一些有趣的,前沿的技术概念和原理

这是一个简单的技术科普教程项目,主要聚焦于解释一些有趣的,前沿的技术概念和原理。

2025年02月05日
GGUFTransformer