推理服务详情页面，可查看指定服务的详细信息、监控信息以及日志等。

前提条件

查看服务信息

  1. 登录基石智算控制台。

  2. 在左侧导航栏，选择模型部署，进入推理服务列表页面。

    model inference view 1

  3. 在推理服务列表页面，可查看当前平台内所有推理服务的基本信息。

    页面信息 说明

    服务名称/ID

    • 服务名称：为创建推理服务时用户自定义。

    • 服务 ID：系统自动生成，点击服务 ID 可直接进入该推理服务的详情页面。

    状态

    当前推理服务的状态，包括等待中、创建中、运行中、已关闭、失败等状态。

    资源配置

    创建推理服务时，用户选择资源规格。

    模型

    创建推理服务时，部署的模型名称。

    实例

    Pod 实例的总数和正常数量。其中总数，即用户在创建推理服务，选择资源配置时设置的实例数量。

    访问地址

    部署成功的模型的访问地址，支持内网访问或外网访问。

    创建时间

    当前推理服务创建的时间。

    更新时间

    当前推理服务更新的时间。

    操作

    针对不同状态的推理服务，其所支持的操作不尽相同，主要包括服务详情、关闭、开启以及删除等。

  4. 点击某一推理服务的服务名称/ID（或点击操作列中的服务详情），即可进入其详情页面。

  5. 在服务信息页签内，可查看当前推理服务的基本信息、实例信息以及计费信息。

    model inference view 2

查看服务监控

  1. 进入推理服务详情页面。

  2. 选择服务监控页签，可查看当前服务的监控信息，包括 GPU 使用率、GPU 显存使用量、CPU 用量、内存用量、网络的出站流量和入站流量、QPS 和响应总数。

    model inference view 4

    • 支持查看实时、近 1 小时、近 6 小时、近 1 天、近 2 周或自定义时间段内的监控数据。

    • 点击监控页面内refresh light，可刷新监控数据图。

    • 点击指定监控数据表download light，可下载当前监控数据。

查看服务日志

  1. 进入推理服务详情页面。

  2. 选择服务日志页签，即可查看当前推理服务所有实例上的日志信息。

    model inference view 3

    • 在左上角下拉框中，可以选择查看全部实例或指定某一实例上的日志信息。

    • 在搜索框中输入关键字或设置起止时间，可查看指定的日志内容。

    • 点击日志窗口右上角start dark 或 stop dark，可启停日志打印。

    • 点击日志窗口右上角refresh dark，可刷新日志内容。

    • 点击日志窗口右上角download dark，可下载当前日志。

查看操作日志

  1. 进入推理服务详情页面。

  2. 选择操作日志页签，即可查看针对当前推理服务所有操作日志。

    model inference view 5

    • 在顶部选择框中设置起止时间，可查看指定时间段内针对该推理服务的操作。

    • 点击操作列表右上角refresh light，可刷操作列表。