Skip to content

体验中心

大模型服务平台(GenStudio)提供可基于 UI 交互的体验中心。可根据不同的模型类型,提供多种体验交互方式。

NOTE

当前版本仅支持大语言模型的对话交互体验。

体验中心总览

体验中心页面分为配置区和互动体验区,默认提供带有上下文的对话体验。

您可在配置区域选择需要体验的模型,修改模型配置参数。您的配置将影响与模型交互时模型返回的方式和内容。

配置体验参数

配置区域项目如下:

  • 模型类型切换:当前版本仅支持大语言模型
  • 模型选择:下拉框中展开了所有可体验的模型。平台将会持续更新,丰富大模型的数量与类型。如果开启M*N体验,可多选模型(最多 4 个),同时体验。
  • 模型交互参数配置:因模型系列的不同,可能会支持不同的可配置参数。主要的参数包括:
    • Stream:指模型是否以流式返回回答的内容,默认开启,关闭时,将一次性返回此次生成的所有内容。
    • Max_tokens:指模型输出的最大 Token 数量。模型输入与输出的 Token 数量将共享模型可处理的文本长度。
    • Temperature:采样温度,控制输出的随机性。值越高,会使输出更加随机,更具创造性;值越低,会使输出更加集中和确定性。我们推荐您根据应用场景调整 top_p 或 temperature 参数,但不建议同时调整两个参数。
    • Top_p:用于控制输出文本的随机性和多样性,取值越大,生成文本越丰富。我们推荐您根据应用场景调整 top_p 或 temperature 参数,但不建议同时调整两个参数。

NOTE

如果希望体验更多参数和配置,建议使用 GenStudio API

交互方式

页面右侧为模型交互区域。您可点击预置示例指令,或输入您的指令内容,来触发模型的交互。

当模型处于持续生成中的状态,底部的指令输入框则会展示模型仍在内容生成中的状态。在内容生成的过程中,用户无法调整模型选择配置、或输入新的指令内容、或新建对话。您可通过点击停止生成来停止当前模型的持续输出。

alt text

NOTE

在非流式模式的状态下,提前停止模型生成,则将无法有生成的内容返回给您。

当模型完成或被停止生成后,可根据模型的回答情况,点击重新生成按钮,对之前所生成的最新一轮反馈进行重新生成。对模型已经完成输出生成的内容,平台会统计本轮对话所产生的输入与输出 Token 总和。

alt text

TIP

整体体验受不同模型的上下文长度限制。点击新建对话,可清空当前对话内容,开始一个全新对话。

多模型体验

体验中心支持M*N体验。您可以同时与多个模型交互,同时体验。

您可在页面左侧开启M*N体验。开启后选择模型和该模型支持的芯片类型,最多选择 4 个模型,在右侧的交互体验区同时体验。

alt text

在M*N体验模式下,多个模型享受同样的输入和同时的请求,您可直观体验不同模型和不同芯片对于同样的指令的返回差异。因不同模型的参数规模、配置等差异,模型对于同一个指令的回答的内容、生成速度、篇幅都可能有差异。

alt text

TIP

当对比中的模型仍正在输出时,您无法进行新对话的发起或者输入下一轮的指令,当所有模型都完成内容返回时,则可以开启下一轮的对话对比。

调整单个模型配置

M*N体验模式下,多个模型不共享配置。您可以通过左侧的展开、收拢按钮来查看、调整指定模型的参数配置。

alt text