此操作是将已创建的模型或其指定版本的模型部署成服务。

前提条件

  • 已经获取控制台账户和密码。

  • 模型管理列表已存在可使用的模型，即已成功添加模型，且其状态为已就绪。

操作步骤

  1. 登录控制台，默认进入 AI 计算平台。

  2. 在左侧导航栏，选择模型管理，进入模型列表页面。

    model manage list

  3. 点击待部署的模型操作栏中的立即部署，进入创建推理服务页面。

  4. 根据页面提示，配置各项参数，点击确定，等待推理服务创建完成即可。

    参数 说明

    服务名称

    选填项，当前推理服务的名称，由用户自定义。

    模型来源

    默认为自定义模型。

    模型名称

    用户添加模型时已经提前设置好的名称，系统自动获取。

    部署方式

    根据用户选定的模型，系统将自动获取相应的部署方式。若有多种部署方式，直接根据实际需要选择即可。同时，用户也可选择单节点或分布式。

    • 单节点：选择一个节点，最多可选择单节点 8 卡。

    • 分布式：选择多个节点部署一个推理实例。

    分布式推理

    用户可根据实际需要，设置实例数量和每单个实例的节点数。

    更多配置

    仅在添加模型时开启了允许用户部署中修改按钮，才会有该选项。

    支持用户对环境变量、启动命令、第三方依赖以及网络端口进行修改。

    资源配置

    针对当前模型部署所需的资源配置，用户可根据实际情况选择相应的资源类型及配置。

  5. 创建成功的推理服务，可在模型部署列表中进行查看和管理。