AI 缓存

功能说明

LLM 结果缓存插件，默认配置方式可以直接用于 openai 协议的结果缓存，同时支持流式和非流式响应的缓存。

提示

携带请求头x-higress-skip-ai-cache: on时，当前请求将不会使用缓存中的内容，而是直接转发给后端服务，同时也不会缓存该请求返回响应的内容

运行属性

插件执行阶段：认证阶段 插件执行优先级：10

配置说明

配置分为 3 个部分：向量数据库（vector）；文本向量化接口（embedding）；缓存数据库（cache），同时也提供了细粒度的 LLM 请求/响应提取参数配置等。

配置说明

本插件同时支持基于向量数据库的语义化缓存和基于字符串匹配的缓存方法，如果同时配置了向量数据库和缓存数据库，优先使用缓存数据库，未命中场景下使用向量数据库能力。

Note: 向量数据库(vector) 和 缓存数据库(cache) 不能同时为空，否则本插件无法提供缓存服务。

根据是否需要启用语义缓存，可以只配置组件的组合为:

1. cache: 仅启用字符串匹配缓存
2. vector (+ embedding): 启用语义化缓存, 其中若 vector 未提供字符串表征服务，则需要自行配置 embedding 服务
3. vector (+ embedding) + cache: 启用语义化缓存并用缓存服务存储LLM响应以加速

注意若不配置相关组件，则可以忽略相应组件的required字段。

向量数据库服务（vector）

文本向量化服务（embedding）

缓存服务（cache）

其他配置

文本向量化提供商特有配置

OpenAI

OpenAI 所对应的 embedding.type 为 openai。它并无特有的配置字段。需要提前创建 API Key，并将其填入embedding.apiKey，一个 API Key 的示例为 sk-xxxxxxx。

Ollama

Ollama 所对应的 embedding.type 为 ollama。它并无特有的配置字段。

讯飞星火

讯飞星火 所对应的 embedding.type 为 xfyun。它需要提前创建应用，获取APPID 、APISecret和APIKey，并将APIKey填入embedding.apiKey中。

它特有的配置字段如下：

Textln

Textln 所对应的 embedding.type 为 textln。它需要提前获取app-id 和secret-code。

它特有的配置字段如下：

Hugging Face

Hugging Face 所对应的 embedding.type 为 huggingface。它并无特有的配置字段。需要提前创建 hf_token，并将其填入embedding.apiKey，一个 hf_token 的示例为 hf_xxxxxxx。

embedding.model默认指定为sentence-transformers/all-MiniLM-L6-v2

Cohere

Cohere 所对应的 embedding.type 为 cohere。它并无特有的配置字段。需要提前创建 API Key，并将其填入embedding.apiKey。

向量数据库提供商特有配置

Chroma

Chroma 所对应的 vector.type 为 chroma。它并无特有的配置字段。需要提前创建 Collection，并填写 Collection ID 至配置项 vector.collectionID，一个 Collection ID 的示例为 52bbb8b3-724c-477b-a4ce-d5b578214612。

DashVector

DashVector 所对应的 vector.type 为 dashvector。它并无特有的配置字段。需要提前创建 Collection，并填写 Collection 名称 至配置项 vector.collectionID。

ElasticSearch

ElasticSearch 所对应的 vector.type 为 elasticsearch。需要提前创建 Index 并填写 Index Name 至配置项 vector.collectionID 。

当前依赖于 KNN 方法，请保证 ES 版本支持 KNN，当前已在 8.16 版本测试。

它特有的配置字段如下：

vector.esUsername 和 vector.esPassword 用于 Basic 认证。同时也支持 Api Key 认证，当填写了 vector.apiKey 时，则启用 Api Key 认证，如果使用 SaaS 版本需要填写 encoded 的值。

Milvus

Milvus 所对应的 vector.type 为 milvus。它并无特有的配置字段。需要提前创建 Collection，并填写 Collection Name 至配置项 vector.collectionID。

Pinecone

Pinecone 所对应的 vector.type 为 pinecone。它并无特有的配置字段。需要提前创建 Index，并填写 Index 访问域名至 vector.serviceHost。

Pinecone 中的 Namespace 参数通过插件的 vector.collectionID 进行配置，如果不填写 vector.collectionID，则默认为 Default Namespace。

Qdrant

Qdrant 所对应的 vector.type 为 qdrant。它并无特有的配置字段。需要提前创建 Collection，并填写 Collection Name 至配置项 vector.collectionID。

Weaviate

Weaviate 所对应的 vector.type 为 weaviate。它并无特有的配置字段。 需要提前创建 Collection，并填写 Collection Name 至配置项 vector.collectionID。

需要注意的是 Weaviate 会设置首字母自动大写，在填写配置 collectionID 的时候需要将首字母设置为大写。

如果使用 SaaS 需要填写 vector.serviceHost 参数。

配置示例

基础配置

embedding:
  type: dashscope
  serviceName: my_dashscope.dns
  apiKey: [Your Key]

vector:
  type: dashvector
  serviceName: my_dashvector.dns
  collectionID: [Your Collection ID]
  serviceDomain: [Your domain]
  apiKey: [Your key]

cache:
  type: redis
  serviceName: my_redis.dns
  servicePort: 6379
  timeout: 100

旧版本配置兼容

redis:
  serviceName: my_redis.dns
  servicePort: 6379
  timeout: 100
  database: 1

进阶用法

当前默认的缓存 key 是基于 GJSON PATH 的表达式：messages.@reverse.0.content 提取，含义是把 messages 数组反转后取第一项的 content；

GJSON PATH 支持条件判断语法，例如希望取最后一个 role 为 user 的 content 作为 key，可以写成： messages.@reverse.#(role=="user").content；

如果希望将所有 role 为 user 的 content 拼成一个数组作为 key，可以写成：messages.@reverse.#(role=="user")#.content；

还可以支持管道语法，例如希望取到数第二个 role 为 user 的 content 作为 key，可以写成：messages.@reverse.#(role=="user")#.content|1。

更多用法可以参考官方文档，可以使用 GJSON Playground 进行语法测试。

常见问题

1. 如果返回的错误为 error status returned by host: bad argument，请检查serviceName是否正确包含了服务的类型后缀(.dns等)。