TechFoco Logo
首页专题归档站点地图
© 2026 TechFoco. All rights reserved.
文章归档专题网站地图站点地图 XML爬虫规则
  1. 首页
  2. /
  3. 返回归档
  4. /
  5. 这是一个简单的技术科普教程项目,主要聚焦于解释一些有趣的,前沿的技术概念和原理

这是一个简单的技术科普教程项目,主要聚焦于解释一些有趣的,前沿的技术概念和原理

2025年02月05日•TechFoco 精选

这是一个简单的技术科普教程项目,主要聚焦于解释一些有趣的,前沿的技术概念和原理。

这是一个简单的技术科普教程项目,主要聚焦于解释一些有趣的,前沿的技术概念和原理。

每篇文章都力求在 5 分钟内阅读完成。

人工智能相关 什么是 GGUF - 介绍 GGUF 文件格式及其在大语言模型部署中的应用 什么是推测性解码 - 解释推测性解码技术如何提升大语言模型的推理性能 什么是 Pythonic 函数调用 - 为什么 Pythonic 函数调用 比 function call 效果好?

如何本地运行 GGUF 格式的 LLM 模型 - 如何本地运行 GGUF 格式的 LLM 模型?

什么是 LLM 蒸馏技术 - 什么是 LLM 蒸馏技术?

什么是 Transformer - 什么是 Transformer?

如何优化 Transformer - Transformer 的优化方案都有哪些?

什么是大语言模型量化 - 什么是大语言模型量化?

每个量化精度都代表什么?

什么是 Flash Attention - 什么是 Flash Attention?

为什么能将大语言模型推理速度提升3倍?

文章配图 1
文章配图 1

什么是 Multi-Head Attention - 什么是 Multi-Head Attention?

Attention Is All You Need 论文精读 什么是 Multi-Query Attention - 什么是 Multi-Query Attention?

什么是 Grouped Query Attention - 什么是 Grouped Query Attention?

系统相关 Windows 任务管理器内存标签说明 - 详解 Windows 任务管理器中各个内存指标的含义 RAMMap 使用解析 - 详解 RAMMap 的使用方法 硬件相关 什么是 PCIe Retimer - 详解 PCIe Retimer 的原理和应用 为什么有的 NVMe SSD 有 DRAM, 有的没有?

  • 为什么有的 NVMe SSD 有 DRAM, 有的没有?

CLX 会是大语言模型的内存解决方案吗?

  • 什么?

PCIe 上能插内存了?

什么是 1DPC - 什么是 1DPC?

为什么内存条要插在远端插槽?

文章链接

  • 查看原文https://github.com/karminski/one-small-step

相关标签

GGUFTransformerFlash Attention技术科普

继续阅读

较新文章

Calibre-Web-Automated:让电子书管理变得轻松又智能

较早文章

Huggingface 这个 Open R1 的文章牛皮啊 整理了 Deepseek R1 发布

相关文章

查看更多

Windows ML 实验性接入 GGUF 与原生推理 API

Windows ML 实验性接入 GGUF 与原生推理 API Windows ML 新增实验性 llama.cpp 集成,可通过文本生成 API 使用 GGUF 或 ONNX 模型,并提供 OpenAI 兼容的本地端点。

2026年10月08日
Windows MLllama.cpp
榨干垃圾服务器:本地AI运行的底层逻辑并非买显卡

榨干垃圾服务器:本地AI运行的底层逻辑并非买显卡

榨干垃圾服务器:本地AI运行的底层逻辑并非买显卡 | blog 很多技术人都在焦虑被昂贵的算力军备竞赛抛下,但真正的高手已经在用十年前的报废服务器跑最新大模型了。

2026年06月04日
本地AI内存带宽
本地运行大模型推理需要复杂的Python环境、Ollama笨重二进制或llama.cpp编译烦恼

本地运行大模型推理需要复杂的Python环境、Ollama笨重二进制或llama.cpp编译烦恼

本地运行大模型推理需要复杂的Python环境、Ollama笨重二进制或llama.cpp编译烦恼,依赖多、启动慢、配置麻烦。

2026年04月30日
Rust本地推理
语音转文字经常需要调用OpenAI API、上传云端等待,或者用各种工具来回折腾,速度慢还担心隐

语音转文字经常需要调用OpenAI API、上传云端等待,或者用各种工具来回折腾,速度慢还担心隐

语音转文字经常需要调用OpenAI API、上传云端等待,或者用各种工具来回折腾,速度慢还担心隐私和费用。

2026年04月30日
语音转文字Whisper
一张图看懂40个开源大模型:2024-2026年,LLM架构正在收敛还是分裂 | blog Se

一张图看懂40个开源大模型:2024-2026年,LLM架构正在收敛还是分裂 | blog Se

一张图看懂40个开源大模型:2024-2026年,LLM架构正在收敛还是分裂 | blog Sebastian Raschka整理了从2024年初到2026年春天发布的40多个开源大模型的架构图谱。

2026年03月19日
大语言模型LLM架构
打开AI黑盒:让大模型的内部结构肉眼可见 | 帖子 | 项目地址 | 在线体验 | 经典参考 我

打开AI黑盒:让大模型的内部结构肉眼可见 | 帖子 | 项目地址 | 在线体验 | 经典参考 我

打开AI黑盒:让大模型的内部结构肉眼可见 | 帖子 | 项目地址 | 在线体验 | 经典参考 我们每天都在使用大语言模型,但它们内部究竟长什么样?

2026年02月11日
模型可视化GGUF