月之暗面 Kimi 开放平台将启动 Context Caching 内测：提供预设内容 QA Bot、固定文档集合查询

6月19日讯 月之暗面官宣 Kimi 开放平台 Context Caching 功能将启动内测，届时将支持长文本大模型，可实现上下文缓存功能。

据介绍，Context Caching（上下文缓存）是由 Kimi 开放平台提供的一项高级功能，可通过缓存重复的 Tokens 内容，降低用户在请求相同内容时的成本，原理如下：

官方表示，Context Caching 可提升 API 的接口响应速度（或首字返回速度）。在规模化、重复度高的 prompt 场景，Context Caching 功能带来的收益越大。

Context Caching 适合于用频繁请求，重复引用大量初始上下文的情况，通过重用已缓存的内容，可提高效率降低费用，适用业务场景如下：

• 提供大量预设内容的 QA Bot，例如 Kimi API 小助手。
• 针对固定的文档集合的频繁查询，例如上市公司信息披露问答工具。
• 对静态代码库或知识库的周期性分析，例如各类 Copilot Agent。
• 瞬时流量巨大的爆款 AI 应用，例如哄哄模拟器，LLM Riddles。
• 交互规则复杂的 Agent 类应用，例如什么值得买 Kimi+ 等。

官方后续将发布 Context Caching 功能的场景最佳实践 / 计费方案 / 技术文档，我们将保持关注，并在第一时间带来相关报道。