本文将以智算平台上大模型服务中的 DeepSeek-R1-Distill-Qwen-7B、bce-embedding-base_v1 为例，向用户介绍如何在 RAGFlow 中添加并使用平台提供的模型服务。

背景信息

RAGFlow 是一款基于深度文档理解的开源检索增强生成（Retrieval-Augmented Generation，RAG）引擎。旨在通过深度文档理解技术，解决现有 RAG 技术在数据处理和生成答案方面的挑战。

RAGFlow 具有如下功能特点：

  • 深度文档理解。

  • 可控可解释的文本切片。

  • 可视化文本处理过程。

  • 兼容多种异构数据。

  • 自动化边界的 RAG 工作流。

  • 支持多种 LLMs 和向量模型。

前提条件

用户已下载并安装 RAGFlow。

操作步骤

获取 API 密钥和域名

  1. 登录控制台。

  2. 在顶部导航栏，选择产品与服务 > 大模型服务 > 大模型服务平台。

    model enter

  3. 进入大模型服务管理页面，在左侧导航栏中选择 API 密钥管理，用户可直接获取 API 域名和API 路径，点击相应按钮即可创建和获取 API 密钥。

    说明

    • 当前平台上的预置模型的 API 域名为 https://openapi.coreshub.cn/v1，用户可直接使用无需修改。

    • 若平台内无可用的 API 密钥，用户可参考前文内容创建和获取新的 API 密钥。

    • 若平台内已有可用的 API 密钥，用户可直接将鼠标悬停在指定密钥上，点击 API 密钥右侧的复制按钮，即可获取完整的 API 密钥。
    model api get

配置模型服务

  1. 访问 RAGFlow 系统地址，输入账号密码后登录。

  2. 点击右上角用户头像，在左侧导航栏选择模型供应商，并点击 OpenAI-API-Compatible。

    model ragflow 1

  3. 在弹出的添加 LLM 窗口中，配置各项参数，点击确定即可。

    注意

    • 每次只能添加一种模型类型，即 chat 和 embedding 模型不能同时添加。

    • 如需添加不同类型模型，可完成一种模型的添加后，选中相应的模型供应商后，点击添加模型，进行再一次的添加。

    • 模型类型：根据待添加的模型，选择相应的类型。若添加 DeepSeek-R1-Distill-Qwen-7B 模型则选择 chat，若添加 bce-embedding-base_v1 模型则选择 embedding。

    • 模型名称：填写待添加模型的名称即可，若需使用平台内其他模型，用户仅需在智算平台的在线推理服务页面，复制得到相应模型名称即可。

    • 基础 url：直接填写 https://openapi.coreshub.cn/v1 即可。

    • API-Key：用户在获取 API 密钥和域名操作中复制得到的完整 API 密钥，需根据实际情况进行修改。

    • 最大 token 数：填根据所选择模型所支持的最大数量填写。

    • 其他参数，根据实际情况进行设置或保持默认即可。

创建知识库

  1. 延续上述操作，在顶部导航栏中，选择知识库页签，点击创建知识库，在弹出提示窗口中，输入名称，点击确定即可。

    model ragflow 2

  2. 进入知识库配置页面，设置各项参数，点击确定。

    model ragflow 3

    • 知识库名称：用户自定义。

    • 文档语言：本实践中选择中文。

    • 嵌入模型：选择前文也成功添加的 embedding 类型的模型。

    • 解析方法：根据实际需要选择相应的解析方法即可。

    • 其他参数，根据实际情况进行设置或保持默认即可。

  3. 在新建的知识库页面，点击左侧导航栏中的数据集，点击右侧新增文件，在弹出的上传文件窗口中，选择本地文件，点击确定。

    model ragflow 4

  4. 等待文档上传完成，点击目标文件所在行的开始按钮，进行解析。

    model ragflow 5

  5. 待解析成功后，用户即可查看分片情况。

    model ragflow 6

构建应用

  1. 延续上述操作，在顶部导航栏选择聊天页签，并点击新建助理。

  2. 在聊天配置页签中，完成助理设置各项参数的配置，点击确定。

    model ragflow 7

    • 助理姓名：用户自定义。

    • 设置开场白：用于设置聊天助理回复问题时的首句话，用户自定义。

    • 知识库：选择前文新建的知识库即可。

    • 其他参数，用户根据实际情况进行修改或保持默认即可。

  3. 进入提示引擎设置页签，配置更多信息，此配置为可选项，用户可根据实际情况进行修改或保持默认，配置完成后，点击确定。

    model ragflow 8

  4. 进入模型设置页签，模型参数选择前文中添加的大语言模型，其他参数根据实际情况进行修改或保持默认，点击确定。

    model ragflow 9

  5. 返回聊天页面，选择新建的聊天助理，点击 + ，发起新的聊天窗口，即可进行对话。

    model ragflow 10