在 Linux(CPU 环境)下,纯软件搭建私有 AI 知识库最成熟、最主流的方案是 Ollama + DeepSeek/Qwen + MaxKB / Dify
整体架构与选型
模型引擎 Ollama
LLM(大语言模型): qwen2.5:3b 或 deepseek-r1:1.5b(CPU 运行无压力,响应快)。
Embedding(向量模型):推荐 bge-m3 或 nomic-embed-text(用于将文本转换为向量)。
部署知识库平台 (MaxKB)
在知识库中对接 Ollama 模型
创建知识库与应用
创建知识库:
进入 知识库 菜单 $\rightarrow$ 创建知识库。
选择刚配置好的 bge-m3 向量模型。
上传你的文档(支持 PDF、TXT、DOCX、Markdown 等)。
系统会自动进行文本切片并向量化存入数据库。
创建 AI 助手(应用):
进入 应用 菜单 $\rightarrow$ 创建应用。
选择关联刚刚创建的知识库。
关联之前添加的 qwen2.5:3b 对话模型。
调试完成后,即可发布嵌入到网页或生成独立对话链接使用。
