PromptCache 语义缓存代理：削减 LLM 调用成本

PromptCache 是一个使用 Go 语言编写的开源语义缓存代理，代码托管在 GitHub 的 messkan/prompt-cache 仓库。与依赖字符串完全匹配的缓存不同，它利用 Embedding 向量识别 Prompt 的意图，从而命中语义相似的请求，目标是减少大模型调用的成本与延迟。

在模糊匹配场景下，项目引入了小模型校验机制，只有当意图一致时才返回缓存结果。架构上支持主流厂商接口和流式输出。项目方在材料中声称，理想环境下可以抵消 80% 的 Token 支出，并将响应速度提升至毫秒级。不过这些性能数字未给出测试条件，属于待验证声明。

语义缓存的核心价值在于把昂贵的生成过程转化为相对廉价的检索过程。对于 RAG 应用和 AI Agent 这类存在大量重复逻辑或高频交互的系统，可以在 LLM 调用链之前部署缓存层，减少上游 Token 消耗和响应延迟。相比严格字符串匹配，基于 Embedding 的方式对重述或近似表达更友好。

但语义匹配天然带有概率性，项目通过双阈值策略和意图核实来降低误命中概率。集成方需要评估相似度阈值和小模型校验带来的额外延迟与误命中风险，并确认缓存命中策略是否符合业务预期。缓存层不能替代安全边界，在涉及多租户隐私或权限敏感场景下不应盲目启用。

目前材料未披露开源许可证、安装部署方式、支持厂商的具体范围，以及缓存过期、持久化和容量控制等能力。在采用前，需要补齐这些实现细节，尤其要验证流式输出兼容性和多租户隔离表现。