模型缓存

¥Model caches

缓存 LLM 调用 可用于测试、节省成本和提高速度。

¥Caching LLM calls can be useful for testing, cost savings, and speed.

以下是一些集成，允许你使用不同的缓存和不同的策略来缓存单个 LLM 调用的结果。

¥Below are some integrations that allow you to cache results of individual LLM calls using different caches with different strategies.

Name	Description
Azure Cosmos DB NoSQL 语义缓存	azure-cosmos-db-nosql-semantic-cache}