用户可通过该功能添加私有模型,并使用该模型部署相应服务。

前提条件

操作步骤

  1. 登录控制台,默认进入 AI 计算平台。

  2. 在左侧导航栏,选择模型管理,进入模型列表页面,点击+ 添加模型

  3. 在进入的添加模型页面中,配置各项参数。

    参数类型 参数 说明

    基本信息

    模型来源

    目前支持本地上传,用户可将相应模型文件上传至平台文件存储的相应用户目录中。

    模型路径

    上传有模型文件的挂载路径。选择平台存储数据集选框中点击edit标识,选择已上传有模型文件的用户目录

    模型名称

    当前模型的名称,由用户自定义。

    模型简介

    选填项,针对当前模型的简单介绍。

    模型标签

    选填项,选择适合当前模型的分类标签,支持根据应用场景或框架类型选择相应标签。

    模型参数量

    选填项,当前模式可能使用到的参数量,单位为 B

    部署信息

    环境变量

    选填项,针对当前推理服务,用户自定义配置的环境变量,可根据实际情况添加多个。

    第三方依赖

    选填项,用于加载镜像中不包含的环境依赖,输入格式为 pip install numpy==1.16.4 absl-py==0.11 多个依赖需用空格隔开。

    支持部署方式

    支持 vLLMSGLangMindiEOllama自定义部署方式,用户可根据实际需要勾选单个或多个方式。

    • 根据所选部署方式,用户需根据实际情况设置相应的启动命令。

    • 若选择自定义部署模型,还需设置镜像,可选择:

      • 公共镜像:平台内的基础镜像,支持 Pytorch、vllm 等。

      • 自定义镜像:用户保存至自定义镜像仓库内的镜像。若暂无自定义镜像,可点击立即构建,进入镜像仓库页面进行构建。

      • 镜像地址:用户已有的镜像仓库地址,输入地址后,选择是否需要输入用户名和密码。

    网络端口

    必填项,容器中服务进程监听的本地 HTTP 端口。范围:1~65535不含 15019,15020,15021)。

    是否允许用户部署中修改

    开启该功能后,将允许在部署模型时对其环境变量启动命令第三方依赖以及网络端口进行修改。

  4. 各项参数配置完成后,点击确定,跳转至该模型列表页面,其状态为已就绪。当前状态下的模型已可用于模型部署等操作。

    model create 1