模型服务监控

GenStudio 模型服务监控可提供推理业务的性能表现、和流量变化等指标。进入模型服务的详情页，切换到服务监控标签页，可查看模型服务各项指标。

模型服务级监控指标分为两类：

• 通用推理业务监控：提供每秒请求数、流量等推理业务通用指标。
• LLM 场景业务监控：提供 TTFT（生成首个 Token 的时间）、总 Token 数等 LLM 业务指标。

通用推理业务监控指标

默认每 30 秒获取一次数据。在监控指标图表展示时，平台会根据所选择的时间范围动态调整数据聚合粒度。

• QPS：每秒的请求数，按请求的 HTTP 返回码分类，在折线图中展示多条折线（所有实例的平均值）
• Response：请求总数，按请求的 HTTP 返回码分类，在直方图中展示各种 HTTP 返回码对应的请求总数量（所有实例的平均值）
• RT：请求的响应时间指标，包括平均响应时间和各个百分位数的响应时间（所有实例的平均值）
  • avg：所有请求的平均响应时间（每段时间请求响应总时间/相应总数）
  • tp80，tp90，tp95，，tp99，tp100：Top 百分位数，表示在时间范围（单位：ms）内完成响应的请求百分比。tp80 为 40 ms，表示响应速度前 80% 的请求在 40 ms 内完成。

    NOTE

    如果服务包含多个实例，tp 取所有实例的平均值。

• Traffic：服务接收和发出的流量大小，单位为字节每秒（所有实例的平均值）

大语言模型场景指标

模型服务监控提供了由 VLLM Metrics 直接采集的 LLM 业务指标。

• e2e_request_latency：VLLM 的端到端总延迟（所有实例的平均值）
  • avg：所有请求的平均响应时间（每段时间请求响应总时间/相应总数）
  • tp80，tp90，tp95，，tp99，tp100：Top 百分位数，表示在时间范围（单位：ms）内完成响应的请求百分比。tp80 为 40 ms，表示响应速度前 80% 的请求在 40 ms 内完成。

    NOTE

    如果服务包含多个实例，tp 取所有实例的平均值。

• Avg_Throughput：VLLM 的 prefill（输入）与 generation（输出）阶段的平均吞吐量（所有实例的平均值，单位 Tokens 每秒）
• TTFT：VLLM 的生成第一个词所需时间（单位：ms）（所有实例的平均值）
• Total_tokens：VLLM 处理请求的总 Token 数，按 prefill（输入）和 generation（输出）分别展示。