添加模型
用户可通过该功能添加私有模型，并使用该模型部署相应服务。
操作步骤
-
登录控制台，默认进入 AI 计算平台。
-
在左侧导航栏，选择模型管理，进入模型列表页面，点击添加模型。
-
在进入的添加模型页面中，配置各项参数。
参数类型 参数 说明 基本信息
模型来源
目前支持本地上传，用户可将相应模型文件上传至平台文件存储的相应用户目录中。
模型路径
上传有模型文件的挂载路径。选择平台存储，在文件目录选框中选择已上传有模型文件的用户目录。
模型名称
当前模型的名称，由用户自定义。
模型简介
选填项，针对当前模型的简单介绍。
模型标签
选填项，选择适合当前模型的分类标签。
模型参数量
选填项，当前模式可能使用到的参数量，单位为
B。部署信息
环境变量
选填项，针对当前推理服务，用户自定义配置的环境变量，可根据实际情况添加多个。
第三方依赖
选填项，用于加载镜像中不包含的环境依赖，输入格式为
pip install numpy==1.16.4 absl-py==0.11多个依赖需用空格隔开。支持部署方式
支持
vLLM、SGLang或自定义部署等方式，用户可根据实际需要勾选单个或多个方式。-
根据所选部署方式，用户需根据实际情况设置相应的启动命令。各参数说明，可参考启动命令相关内容。
-
若选择自定义部署模型，还需设置镜像，可选择：
-
公共镜像：平台内的基础镜像，支持 Pytorch、vllm 等。 -
自定义镜像：用户保存至自定义镜像仓库内的镜像。 -
外部镜像地址：用户已有的镜像仓库地址，输入地址后，选择是否需要输入用户名和密码。 -
共享镜像：共享给我的镜像仓库。
-
网络端口
必填项，容器中服务进程监听的本地 HTTP 端口。范围：
1~65535（不含 15019，15020，15021）。是否允许用户部署中修改
开启该功能后，将允许在部署模型时对其
环境变量、启动命令、第三方依赖以及网络端口进行修改。 -
-
各项参数配置完成后，点击确定，跳转至模型列表页面，新添加的模型其状态为
已就绪。当前状态下的模型已可用于模型部署等操作。