本文将以智算平台上大模型服务中的 DeepSeek-R1-Distill-Qwen-7B 和 bce-embedding-base_v1 为例,向用户介绍如何在本地使用 CherryStudio 客户端,调用相应模型,部署自己的 AI 应用。

背景信息

CherryStudio 是一款支持多模型服务的桌面客户端,其内置众多服务商,支持其他兼容 OpenAI/Anthropic 等 API 格式的服务商接入,帮助用户在多种场景下提升工作效率。其主要功能包括:

  • 大模型对话:除了基础的 AI 对话,文档或图像对话,甚至是公式和 HTML 预览也可帮助用户完成。

  • AI 绘图:支持多种绘图模型,用户可以尽情发挥想象让 CherryStudio 完成绘画。

  • AI翻译:无论是翻译页还是对话栏,CherryStudio 都能快速翻译用户输入的内容。

  • 千余内置助手:CherryStudio 内置了各种分类的千余助手,让用户更加高效地使用大模型。

  • 多数据源知识库:无论是本地文件还是网页,都能作为知识源快速构建用户专属的知识库。

  • 多种备份方式:包括本地备份和云端备份,多个设备无忧切换,更便捷更安全。

操作步骤

获取 API 密钥和域名

  1. 登录控制台

  2. 在顶部导航栏,选择产品与服务 > 大模型服务 > 大模型服务平台

    model enter
  3. 进入大模型服务管理页面,在左侧导航栏中选择 API 密钥管理,用户可直接获取 API 域名API 路径,点击相应按钮即可创建和获取 API 密钥。

    说明
    • 当前平台上的预置模型的 API 域名为 https://openapi.coreshub.cn/v1,用户可直接使用无需修改。

    • 若平台内无可用的 API 密钥,用户可参考前文内容创建和获取新的 API 密钥。

    • 若平台内已有可用的 API 密钥,用户可直接将鼠标悬停在指定密钥上,点击 API 密钥右侧的复制按钮,即可获取完整的 API 密钥。

    model api get

安装和配置 CherryStudio

  1. 访问 CherryStudio 官网,下载并安装客户端。

    注意
    • 用户根据本地电脑自行选择相应的安装包下载和安装即可,具体操作可参考 CherryStudio 官方教程

    • 本实践中使用 MacOS 系统的 CherryStudio 客户端,其他系统的客户端界面可能存在差异,以用户下载的版本界面为准。

  2. 启动 CherryStudio 客户端,点击界面左下角的设置图标,选择模型服务 > 添加

    model cherry 1
  3. 在弹出添加提供商窗口中,配置各项参数,点击确定

    model cherry 2
    • 提供商名称:填写 CoresHub 即可。

    • 提供商类型:智算平台的大模型服务,兼容 OpenAI 接口规范,此处选择 OpenAI 即可。

  4. 新添加的提供商已显示在列,配置相应的 API 密钥API 路径,并点击管理

    model cherry 3
    • API 密钥:用户在获取 API 密钥和域名操作中复制得到的完整 API 密钥,需根据实际情况进行修改。

    • API 路径CherryStudio 平台填写路径时需忽略 v1 版本,故该处填写 https://openapi.coreshub.cn 即可。

  5. 在弹出的新窗口中,可查看到当前添加的模型提供商 API 路径下的所有模型,用户可根据实际需要选择相应的模型。点击model cherry add图标,即可将相应模型添加至 CherryStudio 平台上使用。

    说明
    • 选择完成后,关闭模型添加界面即可。

    • 若使用 CherryStudio 平台的知识库功能,用户需添加嵌入模型,目前智算平台上的嵌入模型为 bce-embedding-base_v1

    model cherry 4
  6. 返回设置页面,上一步选择的模型已添加至 CherryStudio 平台。

    model cherry 5

使用语言模型服务聊天

  1. 在 CherryStudio 平台,点击左侧导航栏中的聊天助手

  2. 在对话框的顶部,可自由切换已添加至平台上的模型。

    model cherry 6

使用嵌入模型创建知识库

  1. 在 CherryStudio 平台,点击左侧导航栏中的知识库,点击添加

    model cherry 7
  2. 在弹出添加知识库窗口中,配置名称嵌入模型,点击确定即可。

    model cherry 8
    • 名称:用户自定义即可。

    • 嵌入模型:选择已添加成功的模型提供商中可用的嵌入模型即可,智算平台内的已预置的嵌入模型为 bce-embedding-base_v1

  3. 为创建好的知识库,添加文件并向量化。

    CherryStudio 支持多种添加数据的方式,包括上传文件、上传文件目录、使用网址、网站以及笔记。

    • 文件:用户可直接点击添加文件,上传本地文件即可,支持 pdf, docx, pptx, xlsx, txt, md 格式。

    • 目录:用户可直接添加整个文件夹目录,相应目录下支持格式的文件均会被自动向量化。

    • 网址:即网络连接 URL,如 https://docs.coreshub.cn/

    • 网站:即站点地图,如 https://docs.coreshub.cn/sitemap.xml

    • 笔记:即纯文本的自定义内容。

  4. 文件知识库文件添加成功后,等待系统自动完成向量化,即当显示model cherry get图标,代表向量化已完成。本实践以添加网站,创建本地知识库为例。

    model cherry 9
  5. 当文件等资料向量化完成后,点击页面下方的搜索知识库,输入查询的内容,即可呈现搜索的结果,并显示该条结果的匹配分数。

    model cherry 10

对话中引用知识库生成回复

  1. 在 CherryStudio 平台,创建新的对话窗口。

  2. 点击对话框底部的知识库,将展开已经创建的知识库列表,选择需要引用的知识库即可。

  3. 用户输入并发送问题,模型将输出通过检索生成的答案,其引用的数据来源会附在答案下方。

    model cherry 11