Local AI Embedder Local AI Embedder LocalAI (opens in a new tab) is both an LLM engine and supports running embedding models on CPU and GPU. Any HuggingFace model or GGUF em...
AI 缓存 功能说明 配置说明 配置示例 AI 缓存 功能说明 AI 缓存插件实现了将 LLM 响应进行抽取并缓存的功能,对于向 LLM API 高频请求相同问题的场景可以显著降低响应时延并节省成本。默认配置方式可以直接用于 openai 协议的结果缓存,同时支持流式和非流式响应的缓存。 需要数据面的proxy wasm版本大于等于0.2....