推理服务详情页面，可查看指定服务的详细信息、监控信息以及日志等。

前提条件

查看服务信息

  1. 登录控制台。

  2. 在左侧导航栏，选择模型部署，进入推理服务列表页面，用户查看当前平台内所有推理服务的基本信息。

    页面信息 说明

    服务名称/ID

    • 服务名称：为创建推理服务时用户自定义。

    • 服务 ID：系统自动生成，点击服务 ID 可直接进入该推理服务的详情页面。

    状态

    当前推理服务的状态，包括等待中、创建中、活跃、已停止、已暂停等状态。

    服务状态

    推理服务创建成功后，其对外服务状态的健康状态。

    资源配置

    创建推理服务时，用户选择的资源规格。

    模型

    创建推理服务时，部署的模型名称。

    Pod

    Pod 实例的总数和正常数量。

    Pod 总数，即用户在创建推理服务时，在数量参数设置的总节点数 = 推理实例总数 x 单推理实例节点数。

    模型调用

    模型的调用信息，如访问地址和 API key。

    创建人

    创建推理服务的账户信息。

    创建时间

    当前推理服务的创建时间。

    操作

    针对不同状态的推理服务，其所支持的操作不尽相同，主要包括开启、停止以及删除等。

  3. 在推理服务列表页面，可按照创建时间、服务名称或 ID对推理服务进行筛选。

  4. 点击推理服务的服务名称/ID，即可进入其详情页面。

  5. 在服务信息页签内，可查看当前推理服务的基本信息、Pod 实例信息以及计费信息。

    model inference view 2

查看服务监控

  1. 进入推理服务详情页面。

  2. 选择服务监控页签，可查看当前服务的监控信息，包括 GPU 使用率、GPU 显存使用量、CPU 用量、内存用量、网络的出站流量和入站流量、QPS 和响应总数。

    model inference view 4

    • 支持查看指定或自定义时间范围内的监控数据。

    • 点击监控页面右上角的自动刷新，可选择刷新时间间隔。

    • 点击监控页面右上角的refresh light，可刷新监控数据。

    • 点击监控数据表右侧的download light，可下载当前监控数据。

查看服务日志

  1. 进入推理服务详情页面。

  2. 选择服务日志页签，即可查看当前推理服务所有实例上的日志信息。

    model inference view 3

    • 点击运行实例下拉框，可选择查看特定容器组或全部容器组的日志内容。

    • 点击选择时间范围，可查看指定或自定义时间范围内的日志数据。

    • 在搜索框中，输入关键词，可高亮日志中的相关字段内容。

    • 点击右上角start dark或stop dark，可启停日志打印。

    • 点击右上角refresh dark，可设置日志内容刷新频率，支持设置频率为 5 秒、10 秒或 15 秒。

    • 点击右上角export dark，可按照正序或倒序导出日志内容。

查看操作日志

  1. 进入推理服务详情页面。

  2. 选择操作日志页签，即可查看针对当前推理服务的所有操作日志。

    model inference view 5

    • 在顶部选择框中设置起止时间，可查看指定时间段内针对该推理服务的操作。

    • 点击列表右上角refresh light，可刷新操作列表。