在 CherryStudio 中使用
本文将以智算平台上大模型服务中的 DeepSeek-R1-Distill-Qwen-7B 和 bce-embedding-base_v1 为例,向用户介绍如何在本地使用 CherryStudio 客户端,调用相应模型,部署自己的 AI 应用。
背景信息
CherryStudio 是一款支持多模型服务的桌面客户端,其内置众多服务商,支持其他兼容 OpenAI/Anthropic 等 API 格式的服务商接入,帮助用户在多种场景下提升工作效率。其主要功能包括:
-
大模型对话:除了基础的 AI 对话,文档或图像对话,甚至是公式和 HTML 预览也可帮助用户完成。
-
AI 绘图:支持多种绘图模型,用户可以尽情发挥想象让 CherryStudio 完成绘画。
-
AI翻译:无论是翻译页还是对话栏,CherryStudio 都能快速翻译用户输入的内容。
-
千余内置助手:CherryStudio 内置了各种分类的千余助手,让用户更加高效地使用大模型。
-
多数据源知识库:无论是本地文件还是网页,都能作为知识源快速构建用户专属的知识库。
-
多种备份方式:包括本地备份和云端备份,多个设备无忧切换,更便捷更安全。
操作步骤
获取 API 密钥和域名
安装和配置 CherryStudio
-
访问 CherryStudio 官网,下载并安装客户端。
注意 -
用户根据本地电脑自行选择相应的安装包下载和安装即可,具体操作可参考 CherryStudio 官方教程。
-
本实践中使用 MacOS 系统的 CherryStudio 客户端,其他系统的客户端界面可能存在差异,以用户下载的版本界面为准。
-
-
启动 CherryStudio 客户端,点击界面左下角的设置图标,选择模型服务 > 添加。
-
在弹出添加提供商窗口中,配置各项参数,点击确定。
-
提供商名称
:填写CoresHub
即可。 -
提供商类型
:智算平台的大模型服务,兼容 OpenAI 接口规范,此处选择OpenAI
即可。
-
-
新添加的提供商已显示在列,配置相应的 API 密钥和 API 路径,并点击管理。
-
API 密钥
:用户在获取 API 密钥和域名操作中复制得到的完整 API 密钥,需根据实际情况进行修改。 -
API 路径
:CherryStudio 平台填写路径时需忽略 v1 版本,故该处填写https://openapi.coreshub.cn
即可。
-
-
在弹出的新窗口中,可查看到当前添加的模型提供商 API 路径下的所有模型,用户可根据实际需要选择相应的模型。点击
图标,即可将相应模型添加至 CherryStudio 平台上使用。
说明 -
选择完成后,关闭模型添加界面即可。
-
若使用 CherryStudio 平台的知识库功能,用户需添加嵌入模型,目前智算平台上的嵌入模型为
bce-embedding-base_v1
。
-
-
返回设置页面,上一步选择的模型已添加至 CherryStudio 平台。
使用语言模型服务聊天
-
在 CherryStudio 平台,点击左侧导航栏中的聊天助手。
-
在对话框的顶部,可自由切换已添加至平台上的模型。
使用嵌入模型创建知识库
-
在 CherryStudio 平台,点击左侧导航栏中的知识库,点击添加。
-
在弹出添加知识库窗口中,配置名称和嵌入模型,点击确定即可。
-
名称
:用户自定义即可。 -
嵌入模型
:选择已添加成功的模型提供商中可用的嵌入模型即可,智算平台内的已预置的嵌入模型为bce-embedding-base_v1
。
-
-
为创建好的知识库,添加文件并向量化。
CherryStudio 支持多种添加数据的方式,包括上传文件、上传文件目录、使用网址、网站以及笔记。
-
文件:用户可直接点击添加文件,上传本地文件即可,支持 pdf, docx, pptx, xlsx, txt, md 格式。
-
目录:用户可直接添加整个文件夹目录,相应目录下支持格式的文件均会被自动向量化。
-
网址:即网络连接 URL,如
https://docs.coreshub.cn/
。 -
网站:即站点地图,如
https://docs.coreshub.cn/sitemap.xml
。 -
笔记:即纯文本的自定义内容。
-
-
文件知识库文件添加成功后,等待系统自动完成向量化,即当显示
图标,代表向量化已完成。本实践以添加网站,创建本地知识库为例。
-
当文件等资料向量化完成后,点击页面下方的搜索知识库,输入查询的内容,即可呈现搜索的结果,并显示该条结果的匹配分数。
对话中引用知识库生成回复
-
在 CherryStudio 平台,创建新的对话窗口。
-
点击对话框底部的知识库,将展开已经创建的知识库列表,选择需要引用的知识库即可。
-
用户输入并发送问题,模型将输出通过检索生成的答案,其引用的数据来源会附在答案下方。