DeepSeek的数据来自于公网也就是公开的数据,有些企业私有的数据集是没有参加训练的,譬如:自己企业的产品信息、自己企业的规章制度、自己企业的行业知识等等。要想让DeepSeek具备这些专有知识的能力,就需要给DeepSeek投喂这些知识,通过向量数据库转换成DeepSeek可以识别的数据集。然后我们就可以针对这些专有的知识进行文档了,譬如智能客服系统等。还有就是数据安全问题,有些敏感数据不适宜上传到公网的,也需要搭建本地知识库。
下面是如何搭建本地知识库问答系统,设计的软件包括Ollama、AnythingLM等。
第一步:本地部署DeepSeek R1大模型,参考之前的分享:本地电脑部署DeepSeek-R1大模型到这个位置,说明DeepSeek R1大模型已经下载到本地电脑。
图片
下载DeepSeek大模型
第二步:下载搭建本地知识库的工具AnythingLLMDownload AnythingLLM for Desktop
图片
AnythingLL官网
AnythingLLM 提供了 Mac、Windows 和 Linux 的安装包,用户可以直接从官网下载并安装。
AnythingLLM 简介
AnythingLLM 是一款开箱即用的一体化 AI 应用,支持 RAG(检索增强生成)、AI 代理等功能。它无需编写代码或处理复杂的基础设施问题,适合快速搭建私有知识库和智能问答系统。
主要特性:
多种部署方式:支持云端、本地和自托管部署。
多用户协作:支持团队协作,适用于企业知识管理和客户支持。
多模型支持:兼容 OpenAI、Anthropic、LocalAI 等主流大模型。
多向量数据库支持:支持 Pinecone、Weaviate 等向量数据库。
多文件格式处理:支持 PDF、TXT、DOCX 等文件格式。
实时网络搜索:结合 LLM 响应缓存与对话标记功能,提供高效的文档管理和智能问答能力。
第三步:配置AnythingLLM下面是AnythingLLM的界面,初次启动的时候没有截图,直接点下一步即可。
图片
AnythingLLM界面
1、配置大模型图片
配置大模型
2、配置向量数据库图片
配置向量数据库
3、配置Embedder首选项Embeddings 正是在这个时候派上用场的。它的作用是将自然语言转换成一种机器可以理解的形式,并且能够通过这些形式找到与你查询最相关的信息。你可以把 Embeddings 理解为一种“翻译器”,它帮助机器理解你说的是什么,并找到正确的答案。
图片
配置Embedder首选项
3.1 打开ollama官网搜索nomic
图片
搜索nomic
3.2 复制ollama命令
图片
复制命令
3.3 下载模型
图片
执行拉取命令
图片
下载成功
3.4 重新配置Embedder首选项
图片
配置Embedder首选项
第四步:上传本地知识库文件图片
点击该按钮
图片
上传本地知识库文件
图片
从左边拉取到右边工作区框并保存
我刚才上传的是《软考高级-系统架构设计师考试大纲.pdf》文件,现在就文件的内容问大模型问题,他会从文件中检索内容。
图片
DeepSeek思考的过程中有上传的文档
图片
引用的知识库
至此完成本地知识库的搭建,有问题聊。
本站仅提供存储服务,所有内容均由用户发布,如发现有害或侵权内容,请点击举报。