验证智能体实例
创建智能体实例或修改配置后,可以在智能体开发服务平台(AgentWorks)的网页版对话窗口中检查回答、多轮上下文和已添加的能力是否按预期工作。
验证回答和能力
先打开网页版对话并选择测试实例,再选择 开启新对话。从基础回复开始,再按已配置的能力增加测试。
- 发送一条固定测试问题,对照提示词和任务要求检查回复。
- 在同一对话中继续追问,检查回答是否接着前文处理。
- 已添加知识、工具等能力时,到 Trace 核对这次运行,检查实际调用及返回结果是否符合预期。
下面的例子说明测试问题、预期行为和核对位置如何对应。把问题换成自己的任务;知识检索一项只适用于已添加知识库的实例。
| 测试问题示例 | 预期行为 | 核对位置 |
|---|---|---|
| 用三句话说明你的工作范围 | 回答符合模板提示词规定的任务和范围 | 对话回复 |
| 接着追问:把刚才的第二句话展开说明 | 回答延续前文,没有把追问当作无关的新问题 | 同一对话中的两轮回复 |
| 差旅报销需要哪些材料 | 检索已入库的制度,回答与检索结果一致 | Trace 中的检索调用、返回资料和对话回复 |
到 Trace 核对这次运行
打开该实例的 Trace,确认这次运行使用了预期模型,工具调用符合预期。
读法见查看智能体实例 Trace。Trace 是运行诊断信息,不是自动评测系统。团队仍需维护固定测试集和验收标准。
添加知识或工具后,再用固定问题检查缺失信息、越权请求和外部能力失败。修改模型、提示词或能力后,用同一组问题比较前后结果。
网页版对话窗口
网页版对话 在新标签页打开,使用控制台登录态和页面上选中的智能体实例。侧边栏没有入口时,联系管理员确认环境是否已配置网页版对话地址。
选择实例
先选定要验证的实例,再发送测试消息。
在控制台侧边栏选择 网页版对话。
打开输入框左下方的实例选择器,找到目标实例。
- 输入实例名称搜索,建议按名称的实际大小写输入。
- 实例较多时,向下滚动列表或选择 加载更多。加载后续实例失败时,已经显示的实例会保留,可选择 重试。
- 单击目标实例完成切换,再核对选择器中的名称。输入搜索词只会筛选列表,不会改变已经选中的实例。
如果显示 没有匹配的实例,先检查名称是否正确,也可清空搜索词重新查看列表。搜索只查找当前账号有权访问的实例;清空搜索后仍没有可用实例时,返回控制台确认实例已创建,并请管理员检查访问权限。登录过期后,重新登录控制台并从侧边栏打开对话页面。
发送、停止和回退
选择 开启新对话。等待连接或重连提示消失后,再发送消息。按 Enter 发送,按 Shift+Enter 换行。
需要终止本轮生成时,选择 停止生成。停止生成不代表已经执行的外部操作已撤销,仍需检查工具结果。
把指针移到自己发出的消息上,选择 回退,从这一轮重新编辑并发送。回复仍在生成时,先停止再回退。正在等待确认时,先处理确认再回退。子任务面板里没有回退。这个窗口不能上传本地文件。
查看自动重试和失败结果
显示重试提示时,原任务仍在继续,不需要重新发送消息;停止生成 仍可使用。整次任务重试时,之前已作废的输出会折叠并标为 已自动重试,可以展开查看;模型或工具单次调用重试时,则显示对应的重试提示。历史记录中的任务重试次数不包含单次调用的重试次数。
任务失败或取消后,未完成的工具调用显示为 已终止,失效的审批和提问卡片不能继续操作。本次运行的上下文仍会保留在会话中;需要不带这次任务内容重新开始时,选择 开启新对话。已经完成的外部操作不会自动撤销,应检查业务系统的实际结果。
需要调整等待时间、重试次数或备用模型时,见配置超时、自动重试和备用模型。
看 token 用量
每一轮下方的本轮用量是这一轮消耗的 token,同一行标出输入和输出。缓存命中和缓存写入写在这项的提示里。
选择 查看本次会话的累计用量,打开的是会话用量。这里的累计消耗是整个会话的 token,包含子代理的消耗,并拆成输入、输出和缓存。本轮用量不是会话累计用量,也不是实例 Trace 里的运行记录。
子代理完成后,父会话继续处理结果所消耗的 token 记入哪一次用户提问,见理解 AgentWorks 如何跟踪每次委托。
子任务面板
主会话里,子代理的工具卡片上可以选择 查看子任务执行过程。子任务面板叠在主会话上,主会话仍继续接收输出。面板里不能再发消息;需要确认的操作可以在面板里处理。面板按自己的每一轮显示本轮 token,不提供会话累计用量。
委托是否完成、飞书审批卡片在哪里处理,见运行和管理子代理委托。
提问表单
启用用户提问后,窗口会显示 需要你的回答。填写文本、单选或多选字段,再选择 提交回答 或 跳过。提问用于补充任务信息,不代替工具执行审批。如何开启见按任务补充交互能力。
其他验证入口
工具审批
网页版对话里,对待审批调用逐项 批准 或 拒绝;同一轮也可以 全部批准 或 全部拒绝。规则、再次确认和渠道差异见配置工具审批流程。
多个工具结果
多个工具调用按各自的调用标识对应结果。几项结果同时出现,不表示这些工具同时执行。业务客户端还要按事件帧核对,见接收运行事件。
业务客户端
业务系统使用 WebSocket 渠道账号,通过 HTTP 提交消息和中断响应,通过 WebSocket 接收执行事件。准备和验收见通过 API 调用智能体。网页版对话测试通过,不代表业务客户端的鉴权、事件处理或中断恢复已经通过验收。
能力记录
沙箱运行记录、知识库构建历史和渠道会话的查看位置,见查看 Trace、指标和运行记录。
投入生产
切换生产流量前,在计划使用的网页版对话、业务客户端或渠道上完成代表性调用,并按通过预发布验收准备固定测试、凭证和回退方法。