在线推理服务上架/下架模型
本文旨在介绍如何上架或下架 Console 用户端大模型服务中的各模型。
前提条件
-
已经获取用户端控制台账户和密码。
-
已获取AI 智算运维管理端(KSE-AI)访问地址及账户与密码。
上架模型
-
登录 Console 用户端,创建推理服务。
注意 -
可参考用户端操作手册创建推理服务。
-
部署私有模型时,需提前准备好模型文件。
-
-
创建成功的服务,其状态应为
活跃
,且服务状态为健康
。在服务列表页面内,获取模型名称、模型 ID、API Keys 以及外网访问地址。 -
登录运维管理端,点击扩展组件按钮,选择 MaaS 管理平台。
-
在左侧导航栏,点击在线推理服务 > 添加模型。
-
在弹出的窗口中,参考以下说明,配置各项参数,点击确定。
参数 说明 模型名称
必填项,可直接使用步骤 2 中记录的模型名称。注意,此名称需要和 BOSS 产品中心定价字段模型版本一致才可读取计费。
开发厂商
当前模型的开发厂商的基本信息。
标签
必填项,根据当前模型特性选择相应标签,支持多选。
支持在线体验
若选择
是
,则在 Console 用户端的大模型服务 > 在线推理服务页面,选择该模型时可点击立即体验,进入文本对话体验界面。模型简介
针对当前模型的介绍性信息。
独立云实例部署
若支持,则需配置相应区域和模型 ID。配置完成后,可在 Console 用户端的大模型服务 > 在线推理服务页面,选择该模型时可点击独立部署,进入推理服务创建页面。
注意 模型 ID 为步骤 2 中获取到的 模型 ID。
渠道名称
当前模型获取渠道。
模型重定向
用于修改请求体中的模型名称。
API 密钥
模型获取渠道对应的鉴权密钥,即步骤 2 中获取到的 API keys。
API 地址
代理网站地址,如:http://xxx.com,可通过代理站来进行 API 调用,即步骤 2 中获取到的外网访问地址。
-
返回在线推理服务列表页面,上一步添加的模型已显示在列,状态为
已下架
。 -
点击指定模型所在行最右侧的更多操作,选择上架。
-
在弹出的提示窗口中,确认信息无误,点击确定,上架成功的模型其状态为
运行中
。 -
登录至用户端,选择大模型服务 > 在线推理服务,即可查看到模型已上架成功。
下架模型
-
登录至 MaaS 管理平台。
-
在左侧导航栏,选择在线推理服务,进入模型列表页面。
-
点击指定模型所在行最右侧的更多操作,选择下架。
说明 状态为
运行中
的模型,仅支持下架操作。 -
在弹出的提示窗口中,确认信息无误,点击确定即可。