本文将以智算平台上大模型服务中的 DeepSeek-R1-Distill-Qwen-7B、bce-embedding-base_v1、bce-reranker-base_v1 为例，向用户介绍如何在 FastGPT中 添加并使用平台提供的模型服务。

背景信息

FastGPT 是一个基于 LLM 大语言模型的知识库问答系统，提供开箱即用的数据处理、模型调用等能力。同时可以通过 Flow 可视化进行工作流编排，从而实现复杂的问答场景。FastGPT 具有如下功能特点：

  • 专属AI客服

  • 独特的 QA 结构

  • 可视化工作流

  • 无限扩展

  • 强大的API集成

  • 支持多种模型

前提条件

用户已下载并安装 FastGPT。

说明

FastGPT 的模型配置方式在 4.8.20 以后发生变化，此文已 4.8.21 版本为例进行说明，具体请以官方文档为主。

操作步骤

获取 API 密钥和域名

  1. 登录控制台。

  2. 在顶部导航栏，选择产品与服务 > 大模型服务 > 大模型服务平台。

    model enter

  3. 进入大模型服务管理页面，在左侧导航栏中选择 API 密钥管理，创建并获取 API 密钥。

    说明

    • 若平台内无可用的 API 密钥，用户可参考前文内容创建和获取新的 API 密钥。

    • 若平台内已有可用的 API 密钥，用户可直接将鼠标悬停在指定密钥上，点击 API 密钥右侧的复制按钮，即可获取完整的 API 密钥。
    model api get

  4. 用户可在左侧导航栏选择在线推理服务，点击目标模型卡片页中的 API 文档，查看预置模型 API 服务接口路径，即为模型的API 域名。

    说明

    当前平台上的预置模型的 API 域名为 https://openapi.coreshub.cn/v1，用户可直接使用无需修改。
    model chatbox 3

配置模型

由于 FastGPT 通过集成 OneAPI 对接模型供应商，所以需要先在 OneAPI 中完成模型供应商的添加，再通过 FastGPT 完成模型配置。

  1. 访问 FastGPT 系统中提供的 OneAPI 地址，输入账户密码后登录。

  2. 点击渠道 > 添加新的渠道。

    model fastgpt 1

  3. 在弹出的窗口中，配置渠道信息，点击提交。

    model fastgpt 2

    • 类型：选择自定义渠道。

    • Base URL：此平台填写 URL 时需忽略 v1 版本，故该处填写填写为 https://openapi.coreshub.cn。

    • 名称：用户自定义。

    • 分组：选择默认 default 即可。

    • 模型：在“输入自定义模型名称”中依次输入如下名称，点击填入即可：

      • DeepSeek-R1-Distill-Qwen-7B

      • bce-embedding-base_v1

      • bce-reranker-base_v1

    • 秘钥：用户在获取 API 密钥和域名操作中复制得到的完整 API 密钥，需根据实际情况进行修改。

  4. 返回渠道界面，可点击测试按钮，对刚添加的渠道进行访问测试，若显示测试成功则表示配置正确。

    model fastgpt 3

配置 FastGPT

延续上述步骤，完成 FastGPT 配置。

  1. 访问 FastGPT 系统中提供的登录地址，输入账号密码后登录。

  2. 在系统界面中，点击账号 > 模型提供商 > 模型配置。

    model fastgpt 4

  3. 在模型配置页面，点击新增模型，选择语言模型，在弹出的模型参数编辑页面，配置各项参数，点击确认。

    model fastgpt 5

    • 模型 ID：本实践为 DeepSeek-R1-Distill-Qwen-7B，需与前文中在 OneAPI 中添加的模型名称保持一致。

    • 模型供应商：选择其他。

    • 别名：用户自定义，针对当前模型的其他名称。

  4. 返回模型配置页面，点击新增模型，选择索引模型，在弹出的模型参数编辑页面，配置各项参数，点击确认。

    model fastgpt 6

    • 模型 ID：本实践为 bce-embedding-base_v1，需与前文中在 OneAPI 中添加的模型名称保持一致。

    • 模型供应商：选择其他。

    • 别名：用户自定义，针对当前模型的其他名称。

  5. 返回模型配置页面，点击新增模型，选择重排模型，在弹出的模型参数编辑页面，配置各项参数，点击确认。

    model fastgpt 7

    • 模型 ID：本实践为 bce-reranker-base_v1，需与前文中在 OneAPI 中添加的模型名称保持一致。

    • 模型供应商：选择其他。

    • 别名：用户自定义，针对当前模型的其他名称。

  6. 选择可用模型页签，即可查看到上述步骤添加的模型，已显示在列。

    model fastgpt 8

创建知识库

  1. 延续上述操作，在左侧导航栏选择知识库，点击创建按钮，选择通用知识库。

    model fastgpt 9

  2. 在弹出的创建知识库窗口中，选择前文中添加的索引模型，点击确认创建。

    model fastgpt 10

  3. 在新建的知识库页面，点击右上角的新建/导入，选择文本数据集。

    model fastgpt 11

  4. 在弹出的文件上传窗口中，勾选数据来源，本实践选择本地文件，点击确认。

    model fastgpt 12

  5. 进入选择文件步骤，将文件上传或拖拽之指定区域，等待文档上传进度完成，点击下一步。

    model fastgpt 13

  6. 进入数据处理步骤，用户可根据实际需要配置各项参数或保持默认，点击下一步。

    model fastgpt 14

  7. 进入确认上传步骤，点击开始上传，并等待索引完成即可。

    model fastgpt 15

  8. 点击已上传并索引完成的文档名称，即可查看其分段详情。

    model fastgpt 16

构建应用

  1. 延续上述操作，在左侧导航栏，选择工作台，点击新建，并按照需求选择应用类型，本实践中选择简单应用。

    model fastgpt 17

  2. 在弹出创建应用窗口中，选择输入应用名称，在从模板创建区域选择知识库+对话引导，点击确认。

    model fastgpt 18

  3. 进入应用配置页面，根据页面提示配置各项参数。

    model fastgpt 19

    • AI 模型：选择前文中添加的语言模型，本实践为 DeepSeek-R1-Distill-Qwen-7B。

    • 提示词：输入请严格根据知识库检索到的内容回复用户的问题，不可随意发挥。

    • 关联知识库：点击右侧选择按钮，选择前文创建的知识库， 点击完成即可关联知识库。

    • 对话开场白：用户自定义。

  4. 如需进行测试，可直接在右侧调试预览窗口，输入相关问题。若无需测试，直接点击右上角的保存并发布即可。

    model fastgpt 20

  5. 在聊天页面，选择新构建的应用，即可与其进行聊天。

    model fastgpt 21