本文将以智算平台上大模型服务中的 DeepSeek-R1-Distill-Qwen-7B 为例，向用户介绍如何在 Dify 中调用相应模型，部署自己的 AI 应用。

背景信息

Dify 是一个开源的 LLM 应用开发平台，为用户提供从 Agent 构建到 AI workflow 编排、RAG 检索、模型管理等能力，轻松构建和运营生成式 AI 原生应用。Dify 平台集成了：

  • 主流 LLM。

  • 具备直观的 Prompt 协调界面。

  • 高质量的 RAG 引擎。

  • 灵活的人工智能代理框架。

  • 支持低代码/无代码开发。

  • 易用的界面和 API 接口。

操作步骤

获取 API 密钥和域名

  1. 登录控制台。

  2. 在顶部导航栏，选择产品与服务 > 大模型服务 > 大模型服务平台。

    model enter

  3. 进入大模型服务管理页面，在左侧导航栏中选择 API 密钥管理，创建并获取 API 密钥。

    说明

    • 若平台内无可用的 API 密钥，用户可参考前文内容创建和获取新的 API 密钥。

    • 若平台内已有可用的 API 密钥，用户可直接将鼠标悬停在指定密钥上，点击 API 密钥右侧的复制按钮，即可获取完整的 API 密钥。
    model api get

  4. 用户可在左侧导航栏选择在线推理服务，点击目标模型卡片页中的 API 文档，查看预置模型 API 服务接口路径，即为模型的API 域名。

    说明

    当前平台上的预置模型的 API 域名为 https://openapi.coreshub.cn/v1，用户可直接使用无需修改。
    model chatbox 3

配置和使用 Dify

  1. 访问 Dify 官网，点击开始使用。

  2. 进入 Dify 账号登录页面，用户根据实际情况选择合适的登录方式，进行登录即可。

  3. 登录成功后，点击右上角账户名称，选择设置。

    model dify 1

  4. 在设置页面，选择模型供应商，在添加更多模型提供商模块，找到 OpenAI-API-compatible，并点击添加模型。

    model dify 2

  5. 在弹出的添加 OpenAI-API-compatible 窗口中，配置各项参数，点击保存。

    model dify 3

    • 模型类型：此处勾选 LLM 即可。

    • 模型名称：用户在智算平台的在线推理服务页面，复制得到的模型名称，本实践中此处填写 DeepSeek-R1-Distill-Qwen-7B。

    • API Key：用户在获取 API 密钥和域名操作中复制得到的完整 API 密钥，需根据实际情况进行修改。

    • API endpoint URL：智算平台上的预置模型的 API 的 endpoint URL 为 https://openapi.coreshub.cn/v1，用户可直接使用无需修改。

    • 其他参数，用户可根据实际情况进行修改或保持默认。

  6. 待页面提示修改成功后，返回 Dify 工作室，点击创建空白应用。

    model dify 4

  7. 在创建空白应用页面，选择聊天助手，输入应用名称&图标，点击创建。

    model dify 5

  8. 在调试与预览窗口上面，将所使用的模型切换为自行配置的 DeepSeek-R1-Distill-Qwen-7B，用户即可进行自有聊天助手的调试。

    说明

    用户也可点击多个模型进行调试，选择平台内的其他模型同时对比调试。
    model dify 6