在 AnythingLLM 中的使用
本文将以智算平台上大模型服务中的 DeepSeek-V3 为例,向用户介绍如何在 AnythingLLM 中调用相应模型,部署自己的 AI 应用。
背景信息
AnythingLLM 是一款开箱即用的一体化 AI 应用,支持 RAG(检索增强生成)、AI 代理等功能。它无需编写代码或处理复杂的基础设施问题,适合快速搭建私有知识库和智能问答系统。AnythingLLM 的主要特性包括:
-
多种部署方式:支持云端、本地和自托管部署。
-
多用户协作:支持团队协作,适用于企业知识管理和客户支持。
-
多模型支持:兼容 OpenAI、Anthropic、LocalAI 等主流大模型。
-
多向量数据库支持:支持 Weaviate 等向量数据库。
-
多文件格式处理:支持 PDF、TXT、DOCX 等文件格式。
-
实时网络搜索:结合 LLM 响应缓存与对话标记功能,提供高效的文档管理和智能问答能力。
获取 API 密钥和域名
安装和使用 AnythingLLM
-
访问 AnythingLLM 官网,下载并安装客户端。
注意 -
用户根据本地电脑自行选择相应的安装包下载即可。
-
本实践中使用 MacOS 系统的 AnythingLLM 客户端,其他系统的客户端界面可能存在差异,以用户下载的版本界面为准。
-
-
首次启动 AnythingLLM 客户端,直接点击开始。
-
进入 LLM 偏好配置页面,大语言模型供应商(LLM Poviders)选择 Generic OpenAI,并配置各项参数。
-
Base URL
:智算平台上的预置模型的 API 域名为https://openapi.coreshub.cn/v1
,用户可直接使用无需修改。 -
API Key
:用户在获取 API 密钥和域名操作中复制得到的完整 API 密钥,需根据实际情况进行修改。 -
Chat Model Name
:本实践中使用DeepSeek-V3
模型。若需使用平台内其他模型,用户仅需在智算平台的在线推理服务页面,复制得到相应模型名称即可。 -
其他参数,用户可根据实际情况进行修改或保持默认。
-
-
依次点击下一步,完成所有配置后,按照页面提示输入 Workspace 工作区名称,进入主界面即可开始对话。
-
点击工作区名称右侧的上传按钮。
-
在弹出的新窗口中,上传相应文件后,并将相应文件移动至工作区,从而加载到 AnythingLLM 的本地知识库中后,点击 Save and Embed 即可。
说明 出现
Workspace updated successfully
的提示就表示知识库配置已经完成。 -
在 Workspace 工作区界面中,点击 New Thread 开启新的对话,在聊天区域中提问后,AI 大模型会根据知识库中的内容进行回答。
其他操作
若用户并非第一次使用 AnythingLLM 客户端,需修改相应的大模型供应商和所使用的模型,可参考以下操作。
-
启动 AnythingLLM 客户端,在工作区的界面中,点击设置按钮。
-
在设置页面,选择人工智能提供商 > LLM 首选项,修改相应模型配置参数即可。