本文旨在介绍如何上架或下架 Console 用户端大模型服务中的各模型。

前提条件

  • 已经获取用户端控制台账户和密码。

  • 已获取AI 智算运维管理端(KSE-AI)访问地址及账户与密码。

上架模型

  1. 登录 Console 用户端,创建推理服务。

    注意
    • 可参考用户端操作手册创建推理服务

    • 部署私有模型时,需提前准备好模型文件。

  2. 创建成功的服务,其状态应为活跃,且服务状态为健康。在服务列表页面内,获取模型名称模型 IDAPI Keys 以及外网访问地址

    boss add model 1
  3. 登录运维管理端,点击扩展组件按钮,选择 MaaS 管理平台

  4. 在左侧导航栏,点击在线推理服务 > 添加模型

  5. 在弹出的窗口中,参考以下说明,配置各项参数,点击确定

    参数 说明

    模型名称

    必填项,可直接使用步骤 2 中记录的模型名称。注意,此名称需要和 BOSS 产品中心定价字段模型版本一致才可读取计费。

    开发厂商

    当前模型的开发厂商的基本信息。

    标签

    必填项,根据当前模型特性选择相应标签,支持多选。

    支持在线体验

    若选择,则在 Console 用户端的大模型服务 > 在线推理服务页面,选择该模型时可点击立即体验,进入文本对话体验界面。

    boss add model 4

    模型简介

    针对当前模型的介绍性信息。

    独立云实例部署

    支持,则需配置相应区域模型 ID。配置完成后,可在 Console 用户端的大模型服务 > 在线推理服务页面,选择该模型时可点击独立部署,进入推理服务创建页面。

    注意

    模型 ID 为步骤 2 中获取到的 模型 ID

    boss add model 6

    渠道名称

    当前模型获取渠道。

    模型重定向

    用于修改请求体中的模型名称。

    API 密钥

    模型获取渠道对应的鉴权密钥,即步骤 2 中获取到的 API keys

    API 地址

    代理网站地址,如:http://xxx.com,可通过代理站来进行 API 调用,即步骤 2 中获取到的外网访问地址

  6. 返回在线推理服务列表页面,上一步添加的模型已显示在列,状态为已下架

  7. 点击指定模型所在行最右侧的更多操作,选择上架

    boss add model 2
  8. 在弹出的提示窗口中,确认信息无误,点击确定,上架成功的模型其状态为运行中

  9. 登录至用户端,选择大模型服务 > 在线推理服务,即可查看到模型已上架成功。

    boss add model 5

下架模型

  1. 登录至 MaaS 管理平台。

  2. 在左侧导航栏,选择在线推理服务,进入模型列表页面。

  3. 点击指定模型所在行最右侧的更多操作,选择下架

    说明

    状态为运行中的模型,仅支持下架操作。

    boss add model 3
  4. 在弹出的提示窗口中,确认信息无误,点击确定即可。