Skip to content

配置模型、提示词与上下文压缩 ​

连接 AI 助手

智能体开发服务平台(AgentWorks)的模型和系统提示词决定智能体的基础行为。先用默认模型参数得到可验证结果,再根据固定测试和真实 Trace 调整随机性、思考和上下文压缩。

在 AgentWorks 控制台中打开要配置的智能体模板。你可以选择已有模板,也可以新建模板。

选择模型凭证和模型 ​

在智能体模板的 模型配置 中选择:

  1. 模型凭证:保存模型服务的 API Key、Base URL 和可用模型。
  2. 模型:智能体实例根据该模板运行时调用的模型。

如果下拉列表中没有目标模型:

  1. 打开 凭证管理。

  2. 检查凭证连接和模型列表。

不要通过在系统提示词中写模型名称来切换模型。

需要在模型暂时不可用时自动尝试其他模型,参见配置备用模型切换。备用模型共用当前智能体的模型凭证,需要分别验证回答和工具调用效果。

编写可验证的系统提示词 ​

系统提示词至少应说明:

  • 智能体的职责和不处理的范围。
  • 缺少信息时应如何提问。
  • 什么时候允许调用工具。
  • 返回格式、语气和必要字段。
  • 遇到高风险操作时应等待批准。

把可观察行为写成明确约束。例如:

language-text
你负责根据内部知识库回答合同条款问题。
只使用检索结果中的事实;没有结果时说明无法确认。
如果用户要求修改或删除业务数据,必须先等待工具批准。
回答末尾列出使用的文档标题。

如果不同智能体实例需要补充客户名称或环境信息,可以把相应提示词参数设为实例创建时可配置。

调整模型参数 ​

可以配置以下模型参数:

  • 温度:控制输出随机性。事实型任务通常从较低值开始。
  • 思考模式:选择 默认、开启 或 关闭。默认不显式覆盖模型的思考设置;开启或关闭是否生效取决于所选模型。
  • 存在惩罚:调整模型引入新内容的倾向。
  • 频率惩罚:调整重复词语或内容的倾向。
  • 最大生成长度:显示当前模型支持的生成上限。
  • 最大上下文长度:显示当前模型支持的上下文上限。

一次只调整少量参数,并在相同测试输入下比较 Trace。模型上限是只读信息,不能通过智能体模板表单扩大。

在长会话中启用压缩 ​

同一会话的历史会随着对话不断增长。未启用压缩时,长会话最终可能出现上下文超限,或者无法可靠地继续使用早期约束和任务信息。启用压缩后,AgentWorks 会把较早的对话整理成较短的摘要,并保留近期原始消息,为后续对话腾出上下文空间。

新建智能体模板时,启用压缩默认关闭。

注意

不确定时怎么选?

如果智能体面向聊天、渠道或持续协作场景,用户通常会反复使用同一会话,请在 压缩配置 中开启 启用压缩。

如果每次请求相互独立,任务完成后会开始新会话,可以保持关闭。

压缩可以降低长会话触及上下文上限的风险,让对话持续更久,但不能扩大模型的上下文窗口,也不能保证逐字保留所有早期细节。压缩还可能增加模型用量和响应时间,因此仍应使用固定长会话验证关键事实和任务连续性。压缩不会使会话过期、清空会话历史或删除会话数据。

上下文压缩不是记忆库。把长期稳定的行为要求写入系统提示词,把可重复检索的业务资料放入知识库。需要保存和检索记忆条目时,配置记忆库;跨会话的用户事实也可以由业务系统保存,不要把长会话历史当作唯一存储。

上下文压缩使用主模型自动摘要;平台还会向模型提供 compact_conversation 工具,不需要单独选择压缩模型或设置阈值。

保存模板后,已有智能体实例不会自动采用新压缩方式。先同步或更新测试实例,必要时重启实例,再用固定长会话验证;验证通过后再更新生产实例。

选择新会话还是上下文压缩 ​

根据后续任务是否需要原对话,以及信息需要保存多久,选择会话、压缩或外部存储方式。

  • 后续任务不需要参考原对话:开始新会话。网页版对话选择 开启新对话;渠道单聊使用 /session new。
  • 同一任务会持续很多轮,并需要保留早期信息:继续原会话并启用上下文压缩。
  • 稳定事实需要跨会话使用:保存到记忆库或业务系统。
  • 需要按期限清理会话历史:按照目标环境的数据保留和清理流程处理,不使用上下文压缩代替删除。

如果业务允许把长任务拆成多段,优先在用户、主题、任务或权限范围变化时开始新会话。只有连续上下文本身有价值时,才让会话持续增长并使用压缩控制上下文预算。

配置上下文压缩 ​

需要在同一会话中持续处理任务时,先通过智能体模板为测试实例启用压缩,确认自动摘要后仍能继续任务,再将设置用于生产实例。

  1. 开启 启用压缩。
  2. 保存智能体模板,并同步或更新测试智能体实例。
  3. 重新进入测试实例;如果实例仍使用旧配置,重启实例后再测试。
  4. 使用接近真实业务的长会话,确认自动摘要后仍能正确使用早期约束和近期工具结果。

上下文压缩还会提供 compact_conversation,模型可以在需要时主动压缩当前会话。该工具由平台自动允许,不会产生工具权限审批。不要在提示词中要求每轮调用它,也不要把工具调用本身当作压缩正确性的证明;仍需验证压缩后的回答和任务连续性。

用长会话验证结果 ​

准备将压缩用于生产或调整相关配置时,用固定长会话比较开启与关闭压缩的实际表现,判断关键事实和未完成任务是否能在预期会话长度内保留。

  1. 在会话前几轮加入后续必须使用的事实,例如订单号、用户约束和未完成任务。

  2. 在中间轮次修改其中一个事实,验证后续使用新值而不是旧值。

  3. 使用接近真实业务的中文消息、工具调用和大段工具返回延长会话。

  4. 在后续轮次要求智能体引用早期事实、近期工具结果并继续未完成任务。

  5. 分别使用关闭压缩和开启上下文压缩的配置,比较事实保留、延迟、Token 用量和工具连续性。

    以长会话的实际结果判断配置是否合适。Trace 可以帮助核对模型和工具调用,但不要仅凭一次调用成功判断压缩策略可用于生产。

  6. 继续延长会话,验证多次压缩后关键事实仍然正确。

    如果无法在预期会话长度内稳定保留关键事实,应继续缩短单个会话,或暂时关闭压缩并由业务系统主动创建新会话,再调整配置。

  7. 保存固定测试对话,供后续配置调整时重新验证。

    模型、提示词、工具或压缩配置变化后,重新运行固定测试。每次只修改一项,再重新比较结果。

更新已有压缩配置 ​

在智能体模板中开启或关闭 启用压缩,即可调整该模板的压缩设置。修改前,保存可用配置及固定测试对话;在测试实例应用更新后,按长会话验证步骤检查事实保留、工具连续性和用量,再更新生产实例。

通过实例参数区分环境 ​

只有表单中被标记为可配置的字段才会在创建智能体实例时出现。把环境差异集中在少量参数中,并为生产实例记录最终值。修改智能体模板后,已有智能体实例不会自动采用新配置,需要处理配置同步状态。

参见更新智能体模板并验证现有实例。

等待时间和重试次数也可以按实例调整,但需要模板先开放容错配置。参见允许实例使用不同的容错设置。