应用
应用是指基于LLM大语言模型构建的实际场景应用,当前应用支持简易配置和高级编排自定义AI工作流应用。
支持全屏模式和浮窗模式嵌入到第三方产品,您可以根据需求为不同产品创建所需的应用。
点击【应用】菜单,进入应用列表页面,该页面支持应用创建、编辑、删除、查询等功能。
1 创建简易配置应用
点击【创建应用】,输入应用名称,选择【简易配置】,点击【创建】
进入简易配置应用设置页面,左侧为应用信息,右侧为调试预览界面。
应用名称: 用户提问时对话框的标题和名字。
应用描述: 对应用场景及用途的描述。
AI模型: 在【系统设置】-【模型管理】中添加的大语言模型。
提示词: 系统默认有智能知识库的提示词,用户可以自定义通过调整提示词内容,可以引导大模型聊天方向,该提示词会被固定在上下文的开头。可以使用变量:{data} 是引用知识库中已知信息;{question}是用户提出的问题。
多轮对话: 开启时当用户提问携带用户在当前会话中最后3个问题;不开启则仅向大模型提交当前问题题。
关联知识库: 用户提问会在关联的知识库中检索分段,引用分段生成提示词发送给大模型进行询问。若未关联知识库或未匹配到分段内容,则直接将用户问题发送给大模型进行询问。
参数设置: 可以设置知识库的相似度,引用分段数量和最大引用字符数。
注意:关联的知识库和应用为同一个用户创建。
开场白: 用户打开对话时,系统弹出的问候语。支持 Markdown 格式;[-]后的内容为快捷问题,一行一个。
问题优化: 对用户提出的问题先进行一次 LLM 优化处理,将优化后的问题在知识库中进行向量化检索,开启后能提高检索知识库的准确度,但由于多一次询问大模型会增加回答问题的时长。
应用信息设置完成后,可以在右侧调试预览中进行提问预览,调试预览中提问内容不计入对话日志。需要点击保存并发布才可生效。
2 创建高级编排应用
点击【创建应用】,输入应用名称,选择【高级编排】,点击【创建】
进入工作流编排页面,新创建的高级编排应用会默认生成简易配置原有的工作流,用可以根据自己的需求进行自定义编排,点击发布后才会生效。
每个节点可以根据节点的用途进行重命名,双击节点名称即可重命名,注意一个应用中节点名称不能重复。
画布上的节点必须在工作流程中,不能有流程外单独的节点,否则会校验失败。
只有连线的后置节点才能引用前置节点的参数输出,可以直接在参数输出中复制参数,如果节点名称变更,需要重新复制参数,参数引用规则是{{节点名称.变量名称}}。
2.1 添加组件
点击右上角的【添加组件】,用户可以点击或拖拽节点到画布,进行工作流编排。以下是每个节点的用途说明:
基本信息: 应用的基本信息设置节点,如应用名称、描述、开场白等设置,每个应用只有一个基本信息节点,不能删除和复制。
开始节点: 工作流程的开始,每个应用只能有一个开始节点,不能删除和复制。
知识库检索: 关联知识库,检索与问题相关分段的节点,可以有多个,支持复制、删除。
AI对话: 与AI大模型进行对话的节点,可以有多个,支持复制、删除。
问题优化: AI对话的一种,设定了默认的角色和场景,用户也可以自行修改。
指定回复: 支持指定输出内容的节点。
判断器: 根据不同条件执行不同的节点。
- 开始
节点说明:工作流的开始节点,不能删除和复制,问答页面输入的问题会作为该节点的输出参数{question},后续节点如有引用可以复制输出参数或选择变量:开始节点-〉用户问题。
- 知识库检索
节点说明:如果应用需要关联知识库,则需要在编排中添加知识库检索节点,选择知识库、设置检索参数、选择检索的问题。
工作流中的后续节点可以使用该节点的参数输出,以下是参数说明:
检索结果的分段列表{paragraph_list}: 数组类型,指根据检索问题、检索参数进行检索后命中的分段列表,包含了分段的所有属性;
满足直接回答的分段列表{is_hit_handling_method_list}: 数组类型,指根据检索问题、检索参数进行检索后命中的分段中满足直接回答的所有分段列表,包含了分段的所有属性;
检索结果{data}: 字符串类型,指根据检索问题、检索参数进行检索后命中的分段内容;
满足直接回答的分段列表{directly_return}: 字符串类型,指根据检索问题、检索参数进行检索后命中的分段中满足直接回答的所有分段内容。
- AI 对话
节点说明:如果应用需要与AI大模型进行对话,则需要在编排中添加AI对话节点,选择AI模型,设置提示词,提示词可以引用前置节点的参数输出。如:可以引用前置知识库检索的检索结果和开始节点的问题变量。
工作流中的后续节点可以使用该节点的参数输出,以下是参数说明:
AI回答内容{answer}: AI模型返回的内容。
- 指定回复
节点说明:支持指定输出文本内容,如没有在知识库查询到相关内容时,可以指定回复一段文案;支持指定输出变量,如在知识库查询到的相关内容满足直接回答的,可以直接选择该变量,系统会自动转化成字符串进行输出。
工作流中的后续节点可以使用该节点的参数输出,以下是参数说明:
内容{answer}: 指定回复输出的内容。
- 判断器
节点说明:根据不同的条件判断,执行不同的分支,每个分支一个输出,每个分支必须有后置执行节点。
工作流中的后续节点可以使用该节点的参数输出,以下是参数说明:
分支名称{branch_name}: 根据条件判断执行分支的分支名称。
2.2 使用场景举例
2.2.1 对用户问题进行问题分类,按照类别检索不同的知识库及回复不同的内容
使用场景如下:给应用添加一个问题分类,当用户提问后,先对问题进行分类,按照问题类别查询不同的知识库。
要求如下:
1、如果分类结果是打招呼的,则指定回复内容;
2、如果分类结果是售前问题咨询的,则查询售前问题知识库;
3、如果分类结果是售后问题咨询的,则查询售后问题知识库;
4、如果分类结果是其他咨询的,则直接问AI模型。
实现以上场景的工作流编排如下:
2.2.2 对用户问题增加敏感词检索,若存在敏感词则指定回复内容
需求:当用户提出问题后,先判断用户的问题是否存在敏感词,如果存在敏感词,就指定回复的内容,如果不存在敏感词就继续检索知识库。
要想实现该需求,需要执行以下几步:
- 1、在知识库中维护一个敏感词知识库,把敏感词添加到问题中,然后关联一个指定敏感词的分段;
- 2、在开始节点后,增加一个知识库检索节点命名为:敏感词检索,选择知识库:敏感词知识库;
- 3、在知识库检索节点后,增加一个判断器,判断敏感词检索的检索结果是否存在敏感词,检索结果不为空,则说明存在敏感词,否则则不存在敏感词可以继续检索知识库,进行后续流程。
2.3 调试
点击【调试】后,会先校验流程是否合规,校验通过后可以在当前页面进行对话测试。
2.4 执行详情
在调试对话框中进行提问,AI回答完成后,会显示【执行详情】,点击【执行详情】后,弹出执行详情对话框,用户可以查看每个流程节点的执行状态、时长和详细的内容。
2.5 保存
当前画布系统会每分钟进行自动保存到本地,需要用户在校验通过后手动点击发布才会将修改配置同步到线上。
2.4 发布
高级编排应用的所有修改只有点击【发布】后,才会在问答页面生效。
点击发布时会校验当前工作流是否符合规则,符合规则的发布成功,不符合规则的则不会进行发布。
3 删除应用
在应用列表,支持对用户创建的应用进行删除操作。