Windows ML 实验性接入 GGUF 与原生推理 API
Windows ML 新增实验性 llama.cpp 集成,支持通过文本生成 API 加载 GGUF 或 ONNX 模型,并提供 OpenAI 兼容的本地端点。新的 Runtime API 预览引入显式设备放置和多...
TechFoco
共 1 篇文章,按时间倒序展示。
Windows ML 新增实验性 llama.cpp 集成,支持通过文本生成 API 加载 GGUF 或 ONNX 模型,并提供 OpenAI 兼容的本地端点。新的 Runtime API 预览引入显式设备放置和多...