添加模型
用户可通过该功能添加私有模型,并使用该模型部署相应服务。
操作步骤
-
登录控制台,默认进入 AI 计算平台。
-
在左侧导航栏,选择模型管理,进入模型列表页面,点击+ 添加模型。
-
在进入的添加模型页面中,配置各项参数。
参数类型 参数 说明 基本信息
模型来源
目前支持本地上传,用户可将相应模型文件上传至平台文件存储的相应用户目录中。
模型路径
上传有模型文件的挂载路径。选择平台存储,数据集选框中点击
标识,选择已上传有模型文件的用户目录。
模型名称
当前模型的名称,由用户自定义。
模型简介
选填项,针对当前模型的简单介绍。
模型标签
选填项,选择适合当前模型的分类标签,支持根据应用场景或框架类型选择相应标签。
模型参数量
选填项,当前模式可能使用到的参数量,单位为
B
。部署信息
环境变量
选填项,针对当前推理服务,用户自定义配置的环境变量,可根据实际情况添加多个。
第三方依赖
选填项,用于加载镜像中不包含的环境依赖,输入格式为
pip install numpy==1.16.4 absl-py==0.11
多个依赖需用空格隔开。支持部署方式
支持
vLLM
、SGLang
、MindiE
、Ollama
或自定义部署
方式,用户可根据实际需要勾选单个或多个方式。-
根据所选部署方式,用户需根据实际情况设置相应的启动命令。
-
若选择自定义部署模型,还需设置镜像,可选择:
-
公共镜像:平台内的基础镜像,支持 Pytorch、vllm 等。
-
自定义镜像:用户保存至自定义镜像仓库内的镜像。若暂无自定义镜像,可点击立即构建,进入镜像仓库页面进行构建。
-
镜像地址:用户已有的镜像仓库地址,输入地址后,选择是否需要输入用户名和密码。
-
网络端口
必填项,容器中服务进程监听的本地 HTTP 端口。范围:
1~65535
(不含 15019,15020,15021)。是否允许用户部署中修改
开启该功能后,将允许在部署模型时对其
环境变量
、启动命令
、第三方依赖
以及网络端口
进行修改。 -
-
各项参数配置完成后,点击确定,跳转至该模型列表页面,其状态为
已就绪
。当前状态下的模型已可用于模型部署等操作。