AI 缓存

功能说明

AI 缓存插件实现了将 LLM 响应进行抽取并缓存的功能,对于向 LLM API 高频请求相同问题的场景可以显著降低响应时延并节省成本。默认配置方式可以直接用于 openai 协议的结果缓存,同时支持流式和非流式响应的缓存。

需要数据面的proxy wasm版本大于等于0.2.100 编译时,需要带上版本的tag,例如:tinygo build -o main.wasm -scheduler=none -target=wasi -gc=custom -tags="custommalloc nottinygc_finalizer proxy_wasm_version_0_2_100" ./

配置说明

名称数据类型填写要求默认值描述
cacheKeyFrom.requestBodystring选填messages.@reverse.0.content从请求 Body 中基于 GJSON PATH 语法提取字符串
cacheValueFrom.responseBodystring选填”choices.0.message.content”从响应 Body 中基于 GJSON PATH 语法提取字符串
cacheStreamValueFrom.responseBodystring选填”choices.0.delta.content”从流式响应 Body 中基于 GJSON PATH 语法提取字符串
cacheKeyPrefixstring选填”higress-ai-cache:“Redis缓存Key的前缀
cacheTTLinteger选填0缓存的过期时间,单位是秒,默认值为0,即永不过期
redis.serviceNamestring必填-redis 服务名称,带服务类型的完整 FQDN 名称,例如 my-redis.dns、redis.my-ns.svc.cluster.local
redis.servicePortinteger选填6379redis 服务端口
redis.timeoutinteger选填1000请求 redis 的超时时间,单位为毫秒
redis.usernamestring选填-登陆 redis 的用户名
redis.passwordstring选填-登陆 redis 的密码
returnResponseTemplatestring选填{“id”:”from-cache”,”choices”:[%s],”model”:”gpt-4o”,”object”:”chat.completion”,”usage”:{“prompt_tokens”:0,”completion_tokens”:0,”total_tokens”:0}}返回 HTTP 响应的模版,用 %s 标记需要被 cache value 替换的部分
returnStreamResponseTemplatestring选填data:{“id”:”from-cache”,”choices”:[{“index”:0,”delta”:{“role”:”assistant”,”content”:”%s”},”finish_reason”:”stop”}],”model”:”gpt-4o”,”object”:”chat.completion”,”usage”:{“prompt_tokens”:0,”completion_tokens”:0,”total_tokens”:0}}\n\ndata:[DONE]\n\n返回流式 HTTP 响应的模版,用 %s 标记需要被 cache value 替换的部分

配置示例

  1. redis:
    serviceName: my-redis.dns
    timeout: 2000