本文介绍如何拉取外部对象存储的数据到智算平台的文件存储目录。

下面以 AWS S3 接口为主，介绍如何将 QingCloud 对象存储的数据下载到智算平台的文件存储中。

前提条件

步骤 1：安装 s3cmd 工具

  1. 登录控制台，默认进入 AI 计算平台。

  2. 在左侧导航栏，选择容器实例，进入容器实例的列表页面。

  3. 在列表页面，通过 SSH 命令 或者 web 连接访问容器实例，然后执行如下 pip 命令，安装 s3cmd 工具。

    pip install s3cmd

    s3cmd 1

  4. 确认 s3cmd 工具是否安装成功。

    s3cmd -h

    s3cmd 2

步骤 2：配置 s3cmd 工具

  1. 在 root 目录创建 .s3cfg 配置文件。

    vim /root/.s3cfg

  2. 根据实际情况，编辑配置文件的如下字段。

    示例为 QingCloud 对象存储，也支持其他兼容 S3 协议的对象存储。

    [default]
access_key = KSYGNYG****KOHNF # 第三方存储提供的 Access Key
secret_key = Sopt5aVewP......9xGs9WSon0R7C # 第三方存储提供的 Secret Key
bucket_location = pek3b # 第三方存储的区域，一般为存储所在的 zone_id
host_base = s3.pek3b.qsstor.com # 第三方存储的访问端点
host_bucket = %(bucket)s.s3.pek3b.qsstor.com # 第三方存储的 bucket 访问端点
use_https = True # 是否启用 https
check_ssl_certificate = False # ssl 证书检查

步骤 3：下载 bucket 文件到本地存储目录

  1. 查看 bucket 列表。

    s3cmd ls

    s3cmd 3

  2. 查看指定 bucket 的文件列表，如 cygnus-qs-test。

    s3cmd ls s3://cygnus-qs-test

    s3cmd 4

  3. 切换到容器实例挂载的存储路径，如 /root/epfs。

    cd /root/epfs

  4. 下载指定 bucket 文件。

    s3cmd get s3://cygnus-qs-test/s6-overlay-x86_64.tar.xz

    s3cmd 5

  5. 下载完成后，可在存储与数据服务下的用户目录中查看该文件。

    在创建容器实例、分布式训练以及推理服务时，即可通过挂载该存储目录，来处理和计算这些数据。