PromptCache 语义缓存代理：削减 LLM 调用成本
PromptCache 是 Go 语言编写的开源语义缓存代理，托管于 GitHub。它用 Embedding 识别相似 Prompt，并通过小模型校验确保意图一致，支持主流接口与流式输出。项目方称理想环境可抵消 8...
TechFoco
semantic-cache 专题
共 1 篇文章，按时间倒序展示。
共 1 篇文章，按时间倒序展示。
PromptCache 是 Go 语言编写的开源语义缓存代理，托管于 GitHub。它用 Embedding 识别相似 Prompt，并通过小模型校验确保意图一致，支持主流接口与流式输出。项目方称理想环境可抵消 8...