AI 缓存 功能说明 配置说明 配置示例 AI 缓存 功能说明 AI 缓存插件实现了将 LLM 响应进行抽取并缓存的功能,对于向 LLM API 高频请求相同问题的场景可以显著降低响应时延并节省成本。默认配置方式可以直接用于 openai 协议的结果缓存,同时支持流式和非流式响应的缓存。 需要数据面的proxy wasm版本大于等于0.2....
Local AI Embedder Local AI Embedder LocalAI (opens in a new tab) is both an LLM engine and supports running embedding models on CPU and GPU. Any HuggingFace model or GGUF em...