把 Orca 的 DeepSeek 缓存命中率打到 99%,我做了九轮优化
33 分钟阅读
这篇文章复盘 Orca 针对 DeepSeek Prefix Cache 的九轮缓存优化:从 budget hint 破坏 system prefix,到 volatile 上下文、wire 等价 token 计算、summary state、extractive compaction、remote summary 0% 命中,再到最后用真实 API 评测把主链路稳定到 99% 左右。
共 1 篇文章
这篇文章复盘 Orca 针对 DeepSeek Prefix Cache 的九轮缓存优化:从 budget hint 破坏 system prefix,到 volatile 上下文、wire 等价 token 计算、summary state、extractive compaction、remote summary 0% 命中,再到最后用真实 API 评测把主链路稳定到 99% 左右。