用户可通过该功能创建私有模型,并使用该模型部署相应服务。

前提条件

创建新模型

  1. 登录基石智算控制台。

  2. 在左侧导航栏,选择模型管理,进入模型列表页面,点击+ 创建模型

  3. 在进入的创建模型页面中,配置各项参数。

    参数类型 参数 说明

    基本配置

    模型名称

    必填项,当前模型的名称,由用户自定义。

    模型简介

    必填项,针对当前模型的简单介绍。

    模型描述

    选填项,针对当前模型的适当描述,可包括模型图文详细介绍、模型许可协议、模型调用与使用等内容。

    模型标签

    必填项,选择适合当前模型的分类标签,支持根据应用场景或框架类型选择相应标签。

    版本号

    必填项,当前模型的版本信息。

    模型部署配置

    镜像选择

    必填项,支持选择公共镜像、自定义镜像或私有镜像地址。

    • 公共镜像:平台内的基础镜像,支持 TensorFlow、Pytorch、Transformers 等。

    • 自定义镜像:用户保存至自定义镜像仓库内的镜像。若暂无自定义镜像,可点击立即构建,进入镜像仓库页面进行构建。

    • 镜像地址:用户已有的镜像仓库地址,输入地址后,选择是否需要输入用户名和密码。

    模型配置

    需配置模型文件挂载地址

    • 模型文件:必选项,用户提前上传至文件存储下的模型目录,其内须包含所有模型推理所需的模型文件和模型启动代码,根据提示选择相应用户目录下的指定文件夹即可。

    • 挂载地址:必填项,模型文件挂载路径,用户自定义即可。推理服务创建过程中,系统会自动将模型文件挂载至实例的相应路径下。

    环境变量

    选填项,针对当前推理服务,用户自定义配置的环境变量,可根据实际情况添加多个。

    第三方依赖

    选填项,用于加载镜像中不包含的环境依赖,支持选择第三方列表requirements.txt 文件路径

    • 第三方列表:输入格式为 numpy==1.16.4 absl-py==0.11 多个依赖需用空格隔开。

    • requirements.txt 文件路径:根据提示框选择文件所在路径即可,一般在模型文件所在路径下。

    启动命令

    选填项,根据用户上传的模型文件中启动代码所在路径,填写模型推理的启动命令即可。

    网络端口

    必填项,Pod 实例启动的网络端口。

  4. 各项参数配置完成后,点击确定,跳转至该模型详情页面,其状态为待提交。当前状态下的模型已可用于模型部署等操作。

    model create 1

新增模型版本

新增模型版本前须已完成新模型的创建

  • 方法一:在模型详情页新增版本

    1. 登录基石智算控制台。在左侧导航栏,选择模型管理,进入模型列表页面。

    2. 点击制定模型操作栏中的模型详情

    3. 在模型详情页面,点击+ 新增版本,进入新增版本页面。

    4. 根据页面提示,配置相应参数,点击确定即可。参数说明可参考前文创建新模型中相关内容。

  • 方法二:在创建模型页面新增版本

    1. 登录基石智算控制台。在左侧导航栏,选择模型管理,进入模型列表页面。

    2. 点击+ 创建模型,在创建模型页面,选择新增版本页签。

    3. 根据页面提示,选择模型后,配置其他各项参数,点击确定即可。参数说明可参考前文创建新模型中相关内容。