本实践旨在介绍如何从魔塔社区下载模型到智算平台的容器实例上后，使用平台模型管理功能进行一键部署。本实践以 DeepSeek-R1-Distill-Qwen-1.5B 为例，具体操作如下文所示。

环境准备

  1. 创建文件存储目录。

    注意

    • 根据待下载模型的大小，设置存储配额，避免空间过小导致下载失败。

    • 存储目录需创建在西北三区，以便后续使用。

  2. 创建容器实例，按照如下要求配置参数，点击创建。

    • 资源类型：选择无卡启动资源即可。

    • 存储与数据：选择上一步创建的用户目录。

    • 其他参数，根据实际需求进行设置即可。

  3. 等待容器实例创建完成，且状态为运行中。

  4. 在容器实例列表中，点击相应实例的更多访问 > web 连接。

    bp modelscope 1

  5. 在 web 连接窗口中，依次执行如下命令，安装 git-lfs 软件包。

    1. 进入文件存储的用户目录。

      cd epfs

    2. 安装软件包。

      apt install git-lfs

  6. 依次执行如下命令，下载 DeepSeek-R1-Distill-Qwen-1.5B 模型文件。

    1. 确保 lfs 已正确安装，回显提示 Git LFS initialized. 即可。

      git lfs install

    2. 下载模型文件。

      git clone https://www.modelscope.cn/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B.git
      说明

      其他模型的下载地址，用户可登录魔塔社区，在顶部导航栏选择模型库，自行查找相应模型，点击模型名称，进入其详情页，选择模型文件 > 下载模型，找到 Git 下载 命令即可。

    3. 若有大文件下载失败，用户可进入模型文件所在目录，执行如下命令进行下载。

      cd DeepSeek-R1-Distill-Qwen-1.5

git lfs pull

  7. 关闭 web 连接窗口，在左侧导航栏选择存储与数据服务，点击步骤一创建的用户目录，进入其详情页面，即可查看到从魔塔社区下载的模型文件，已保存在相应目录中。

    bp modelscope 2

添加模型并一键部署

  1. 延续上述操作。

  2. 在左侧导航栏中，选择模型管理，点击+ 添加模型。

  3. 在添加模型页面中，按照如下要求配置参数，点击确定。

    • 模型路径：数据集选框中点击edit标识，选择前文中已上传有 DeepSeek-R1-Distill-Qwen-1.5 模型文件的目录。

    • 支持部署方式：选择 vLLM。

    • 其它参数，根据实际需求进行设置即可。

  4. 返回模型列表页面，新添加的模型已显示在列，且状态为已就绪。

    bp modelscope 3

  5. 点击指定模型，操作列的立即部署，进入创建推理服务页面，按照如下要求配置参数，点击确定。

    • 服务名称：用户自定义。

    • 模型来源：系统自动获取，无需修改。

    • 模型名称：系统自动获取，无需修改。

    • 部署方式：根据实际需要，可选择单节点或分布式。

    • 分布式推理：根据实际需要设置即可，本实践均设置为 1。

    • 资源规格：本实践所用的 DeepSeek-R1-Distill-Qwen-1.5 模型，使用 1 卡 GPU 资源即可。

  6. 等待推理服务创建成功，其状态应为活跃，且服务状态为健康。

    说明

    若当前推理服务需满足更高的并发要求时，用户可直接进行扩容操作。
    bp modelscope 4

模型调用

  1. 延续上述操作。

  2. 点击推理服务的服务名称/ID，即可进入其详情页面，选择服务信息，记录并查看相应的 API Keys 和外网访问地址信息。

  3. 参考前文内容进行调用即可。