功能说明

一个可定制化的 API AI Agent，支持配置 http method 类型为 GET 与 POST 的 API，支持多轮对话，支持流式与非流式模式。 agent流程图如下： ai-agent

运行属性

插件执行阶段：默认阶段 插件执行优先级：200

配置字段

基本配置

名称数据类型填写要求默认值描述
llmobject必填-配置 AI 服务提供商的信息
apisobject必填-配置外部 API 服务提供商的信息
promptTemplateobject非必填-配置 Agent ReAct 模板的信息

llm的配置字段说明如下：

名称数据类型填写要求默认值描述
apiKeystring必填-用于在访问大模型服务时进行认证的令牌。
serviceNamestring必填-大模型服务名
servicePortint必填-大模型服务端口
domainstring必填-访问大模型服务时域名
pathstring必填-访问大模型服务时路径
modelstring必填-访问大模型服务时模型名
maxIterationsint必填15结束执行循环前的最大步数
maxExecutionTimeint必填50000每一次请求大模型的超时时间，单位毫秒
maxTokensint必填1000每一次请求大模型的输出token限制

apis的配置字段说明如下：

名称数据类型填写要求默认值描述
apiProviderobject必填-外部 API 服务信息
apistring必填-工具的 OpenAPI 文档

apiProvider的配置字段说明如下：

名称数据类型填写要求默认值描述
apiKeyobject非必填-用于在访问外部 API 服务时进行认证的令牌。
maxExecutionTimeint非必填50000每一次请求API的超时时间，单位毫秒。
serviceNamestring必填-访问外部 API 服务名
servicePortint必填-访问外部 API 服务端口
domainstring必填-访访问外部 API 时域名

apiKey的配置字段说明如下：

名称数据类型填写要求默认值描述
instring非必填none在访问外部 API 服务时进行认证的令牌是放在 header 中还是放在 query 中，如果API没有令牌，填none。
namestring非必填-用于在访问外部 API 服务时进行认证的令牌的名称。
valuestring非必填-用于在访问外部 API 服务时进行认证的令牌的值。

promptTemplate的配置字段说明如下：

名称数据类型填写要求默认值描述
languagestring非必填ENAgent ReAct 模板的语言类型，包括 CH 和 EN 两种
chTemplateobject非必填-Agent ReAct 中文模板
enTemplateobject非必填-Agent ReAct 英文模板

chTemplate和enTemplate的配置字段说明如下：

名称数据类型填写要求默认值描述
questionstring非必填-Agent ReAct 模板的 question 部分
thought1string非必填-Agent ReAct 模板的 thought1 部分
observationstring非必填-Agent ReAct 模板的 observation 部分
thought2string非必填-Agent ReAct 模板的 thought2 部分

用法示例

配置信息

  1. llm:
  2.   apiKey: xxxxxxxxxxxxxxxxxx
  3.   domain: dashscope.aliyuncs.com
  4.   serviceName: dashscope.dns
  5.   servicePort: 443
  6.   path: /compatible-mode/v1/chat/completions
  7.   model: qwen-max-0403
  8.   maxIterations: 2
  9. promptTemplate:
  10.   language: CH
  11. apis:
  12. - apiProvider:
  13.     domain: restapi.amap.com
  14.     serviceName: geo.dns
  15.     servicePort: 80
  16.     apiKey:
  17.       in: query
  18.       name: key
  19.       value: xxxxxxxxxxxxxxx
  20.   api: |
  21.     openapi: 3.1.0
  22.     info:
  23.       title: 高德地图
  24.       description: 获取 POI 的相关信息
  25.       version: v1.0.0
  26.     servers:
  28.     paths:
  29.       /v5/place/text:
  30.         get:
  31.           description: 根据POI名称，获得POI的经纬度坐标
  32.           operationId: get_location_coordinate
  33.           parameters:
  34.             - name: keywords
  35.               in: query
  36.               description: POI名称，必须是中文
  37.               required: true
  38.               schema:
  39.                 type: string
  40.             - name: region
  41.               in: query
  42.               description: POI所在的区域名，必须是中文
  43.               required: true
  44.               schema:
  45.                 type: string
  46.           deprecated: false
  47.       /v5/place/around:
  48.         get:
  49.           description: 搜索给定坐标附近的POI
  50.           operationId: search_nearby_pois
  51.           parameters:
  52.             - name: keywords
  53.               in: query
  54.               description: 目标POI的关键字
  55.               required: true
  56.               schema:
  57.                 type: string
  58.             - name: location
  59.               in: query
  60.               description: 中心点的经度和纬度，用逗号隔开
  61.               required: true
  62.               schema:
  63.                 type: string
  64.           deprecated: false
  65.     components:
  66.       schemas: {}
  67. - apiProvider:
  68.     domain: api.seniverse.com
  69.     serviceName: seniverse.dns
  70.     servicePort: 80
  71.     apiKey:
  72.       in: query
  73.       name: key
  74.       value: xxxxxxxxxxxxxxx
  75.   api: |
  76.     openapi: 3.1.0
  77.     info:
  78.       title: 心知天气
  79.       description: 获取 天气预办相关信息
  80.       version: v1.0.0
  81.     servers:
  83.     paths:
  84.       /v3/weather/now.json:
  85.         get:
  86.           description: 获取指定城市的天气实况
  87.           operationId: get_weather_now
  88.           parameters:
  89.             - name: location
  90.               in: query
  91.               description: 所查询的城市
  92.               required: true
  93.               schema:
  94.                 type: string
  95.             - name: language
  96.               in: query
  97.               description: 返回天气查询结果所使用的语言
  98.               required: true
  99.               schema:
  100.                 type: string
  101.                 default: zh-Hans
  102.                 enum:
  103.                   - zh-Hans
  104.                   - en
  105.                   - ja
  106.             - name: unit
  107.               in: query
  108.               description: 表示温度的的单位，有摄氏度和华氏度两种
  109.               required: true
  110.               schema:
  111.                 type: string
  112.                 default: c
  113.                 enum:
  114.                   - c
  115.                   - f
  116.           deprecated: false
  117.     components:
  118.       schemas: {}
  119. - apiProvider:
  120.     apiKey:
  121.       in: “header”
  122.       name: “DeepL-Auth-Key”
  123.       value: “73xxxxxxxxxxxxxxx:fx”
  124.     domain: “api-free.deepl.com”
  125.     serviceName: “deepl.dns”
  126.     servicePort: 443
  127.   api: |
  128.     openapi: 3.1.0
  129.     info:
  130.       title: DeepL API Documentation
  131.       description: The DeepL API provides programmatic access to DeepL’s machine translation technology.
  132.       version: v1.0.0
  133.     servers:
  135.     paths:
  136.       /translate:
  137.         post:
  138.           summary: Request Translation
  139.           operationId: translateText
  140.           requestBody:
  141.             required: true
  142.             content:
  143.               application/json:
  144.                 schema:
  145.                   type: object
  146.                   required:
  147.                     - text
  148.                     - target_lang
  149.                   properties:
  150.                     text:
  151.                       description: |
  152.                         Text to be translated. Only UTF-8-encoded plain text is supported. The parameter may be specified
  153.                         up to 50 times in a single request. Translations are returned in the same order as they are requested.
  154.                       type: array
  155.                       maxItems: 50
  156.                       items:
  157.                         type: string
  158.                         example: Hello, World!
  159.                     target_lang:
  160.                       description: The language into which the text should be translated.
  161.                       type: string
  162.                       enum:
  163.                         - BG
  164.                         - CS
  165.                         - DA
  166.                         - DE
  167.                         - EL
  168.                         - EN-GB
  169.                         - EN-US
  170.                         - ES
  171.                         - ET
  172.                         - FI
  173.                         - FR
  174.                         - HU
  175.                         - ID
  176.                         - IT
  177.                         - JA
  178.                         - KO
  179.                         - LT
  180.                         - LV
  181.                         - NB
  182.                         - NL
  183.                         - PL
  184.                         - PT-BR
  185.                         - PT-PT
  186.                         - RO
  187.                         - RU
  188.                         - SK
  189.                         - SL
  190.                         - SV
  191.                         - TR
  192.                         - UK
  193.                         - ZH
  194.                         - ZH-HANS
  195.                       example: DE
  196.     components:
  197.       schemas: {}

本示例配置了三个服务，演示了get与post两种类型的工具。其中get类型的工具包括高德地图与心知天气，post类型的工具是deepl翻译。三个服务都需要现在Higress的服务中以DNS域名的方式配置好，并确保健康。 高德地图提供了两个工具，分别是获取指定地点的坐标，以及搜索坐标附近的感兴趣的地点。文档：https://lbs.amap.com/api/webservice/guide/api-advanced/newpoisearch 心知天气提供了一个工具，用于获取指定城市的实时天气情况，支持中文，英文，日语返回，以及摄氏度和华氏度的表示。文档：https://seniverse.yuque.com/hyper_data/api_v3/nyiu3t deepl提供了一个工具，用于翻译给定的句子，支持多语言。。文档：https://developers.deepl.com/docs/v/zh/api-reference/translate?fallback=true

以下为测试用例，为了效果的稳定性，建议保持大模型版本的稳定，本例子中使用的qwen-max-0403：

请求示例

  2. -H ‘Accept: application/json, text/event-stream’ \
  3. -H ‘Content-Type: application/json’ \
  4. —data-raw ‘{“model”:”qwen”,”frequency_penalty”:0,”max_tokens”:800,”stream”:false,”messages”:[{“role”:”user”,”content”:”我想在济南市鑫盛大厦附近喝咖啡，给我推荐几个”}],”presence_penalty”:0,”temperature”:0,”top_p”:0}’

响应示例

  1. {“id”:”139487e7-96a0-9b13-91b4-290fb79ac992”,”choices”:[{“index”:0,”message”:{“role”:”assistant”,”content”:” 在济南市鑫盛大厦附近，您可以选择以下咖啡店：\n1. luckin coffee 瑞幸咖啡(鑫盛大厦店)，位于新泺大街1299号鑫盛大厦2号楼大堂；\n2. 三庆齐盛广场挪瓦咖啡(三庆·齐盛广场店)，位于新泺大街与颖秀路交叉口西南60米；\n3. luckin coffee 瑞幸咖啡(三庆·齐盛广场店)，位于颖秀路1267号；\n4. 库迪咖啡(齐鲁软件园店)，位于新泺大街三庆齐盛广场4号楼底商；\n5. 库迪咖啡(美莲广场店)，位于高新区新泺大街1166号美莲广场L117号；以及其他一些选项。希望这些建议对您有所帮助！”},”finish_reason”:”stop”}],”created”:1723172296,”model”:”qwen-max-0403”,”object”:”chat.completion”,”usage”:{“prompt_tokens”:886,”completion_tokens”:50,”total_tokens”:936}}

请求示例

  2. -H ‘Accept: application/json, text/event-stream’ \
  3. -H ‘Content-Type: application/json’ \
  4. —data-raw ‘{“model”:”qwen”,”frequency_penalty”:0,”max_tokens”:800,”stream”:false,”messages”:[{“role”:”user”,”content”:”济南市现在的天气情况如何？”}],”presence_penalty”:0,”temperature”:0,”top_p”:0}’

响应示例

  1. {“id”:”ebd6ea91-8e38-9e14-9a5b-90178d2edea4”,”choices”:[{“index”:0,”message”:{“role”:”assistant”,”content”:” 济南市现在的天气状况为阴天，温度为31℃。此信息最后更新于2024年8月9日15时12分（北京时间）。”},”finish_reason”:”stop”}],”created”:1723187991,”model”:”qwen-max-0403”,”object”:”chat.completion”,”usage”:{“prompt_tokens”:890,”completion_tokens”:56,”total_tokens”:946}}

请求示例

  2. -H ‘Accept: application/json, text/event-stream’ \
  3. -H ‘Content-Type: application/json’ \
  4. —data-raw ‘{“model”:”qwen”,”frequency_penalty”:0,”max_tokens”:800,”stream”:false,”messages”:[{“role”: “user”,”content”: “济南的天气如何？”},{ “role”: “assistant”,”content”: “目前，济南市的天气为多云，气温为24℃，数据更新时间为2024年9月12日21时50分14秒。”},{“role”: “user”,”content”: “北京呢？”}],”presence_penalty”:0,”temperature”:0,”top_p”:0}’

响应示例

  1. {“id”:”ebd6ea91-8e38-9e14-9a5b-90178d2edea4”,”choices”:[{“index”:0,”message”:{“role”:”assistant”,”content”:”目前，北京市的天气为晴朗，气温为19℃，数据更新时间为2024年9月12日22时17分40秒。”},”finish_reason”:”stop”}],”created”:1723187991,”model”:”qwen-max-0403”,”object”:”chat.completion”,”usage”:{“prompt_tokens”:999,”completion_tokens”:76,”total_tokens”:1075}}

请求示例

  2. -H ‘Accept: application/json, text/event-stream’ \
  3. -H ‘Content-Type: application/json’ \
  4. —data-raw ‘{“model”:”qwen”,”frequency_penalty”:0,”max_tokens”:800,”stream”:false,”messages”:[{“role”:”user”,”content”:”济南市现在的天气情况如何？用华氏度表示，用日语回答”}],”presence_penalty”:0,”temperature”:0,”top_p”:0}’

响应示例

  1. {“id”:”ebd6ea91-8e38-9e14-9a5b-90178d2edea4”,”choices”:[{“index”:0,”message”:{“role”:”assistant”,”content”:” 济南市の現在の天気は雨曇りで、気温は88°Fです。この情報は2024年8月9日15時12分（東京時間）に更新されました。”},”finish_reason”:”stop”}],”created”:1723187991,”model”:”qwen-max-0403”,”object”:”chat.completion”,”usage”:{“prompt_tokens”:890,”completion_tokens”:56,”total_tokens”:946}}

请求示例

  2. -H ‘Accept: application/json, text/event-stream’ \
  3. -H ‘Content-Type: application/json’ \
  4. —data-raw ‘{“model”:”qwen”,”frequency_penalty”:0,”max_tokens”:800,”stream”:false,”messages”:[{“role”:”user”,”content”:”帮我用德语翻译以下句子：九头蛇万岁!”}],”presence_penalty”:0,”temperature”:0,”top_p”:0}’

响应示例

  1. {“id”:”65dcf12c-61ff-9e68-bffa-44fc9e6070d5”,”choices”:[{“index”:0,”message”:{“role”:”assistant”,”content”:” “九头蛇万岁!”的德语翻译为“Hoch lebe Hydra!”。”},”finish_reason”:”stop”}],”created”:1724043865,”model”:”qwen-max-0403”,”object”:”chat.completion”,”usage”:{“prompt_tokens”:908,”completion_tokens”:52,”total_tokens”:960}}