Ai on Liangweidong's blog

Ollama + Open WebUI：本地大模型与 AI 知识库一体化部署实战

Sun, 15 Jun 2025 00:00:00 +0800

ChatGPT 的 API 是好，但敏感业务数据不能传公网。2024-2025 年，Ollama + Open WebUI 这套"本地大模型 + Web 知识库"组合成为私有化 AI 助手的标准答案：Ollama 拉模型、跑推理；Open WebUI 提供类 ChatGPT 界面、知识库、对话历史。这篇文章把 Ollama（CPU/GPU 部署）+ Open WebUI（知识库）+ LobeChat 备选一次性说清。

阅读对象：需要在公司内网搭"私有 ChatGPT"；想做知识库（RAG）；想本地跑 deepseek-r1 / qwen / llama3 体验大模型；关心数据不外传的合规需求。 覆盖范围：Ollama 官方镜像 CPU 启动、GPU 加速（Nvidia / AMD）、Open WebUI 二合一 docker-compose、模型管理（pull / run / list）、知识库原理（Nomic-Embed-Text + AnythingLLM）、LobeChat 备选。

一、为什么是 Ollama + Open WebUI

工具	角色
Ollama	模型管理（拉取 / 运行 / 删除）、推理服务（11434 API）
Open WebUI	Web UI（类 ChatGPT）、知识库（RAG）、多用户、对话历史
DeepSeek-R1 / Qwen / Llama3	实际跑的大模型（开源、可商用）
Nomic-Embed-Text	向量模型（把文本转成向量做 RAG 检索）
AnythingLLM	知识库应用平台（可选，配合 Open WebUI 知识库）

典型组合：Ollama 跑模型（11434）→ Open WebUI 拉 Ollama 作为后端（3000）→ 业务系统调 Open WebUI API 接入。

数据流：用户问 → Open WebUI（知识库 RAG 检索）→ Ollama（拼 prompt + 大模型推理）→ 回答。

二、Ollama 部署

2.1 拉取镜像

1

docker pull ollama/ollama:0.5.10

Ollama 模型仓库（ollama.com/library）涵盖 deepseek-r1、llama3、qwen2.5、mistral、gemma2、phi3 等几十个模型，按参数量分 tag（如 1.5b / 7b / 8b / 32b / 70b）。

2.2 CPU 模式启动

1
2
3
4
5
6


docker run -d \
 --name=ollama \
 --restart=always \
 -p 11434:11434 \
 -v /home/docker/ai/ollama:/root/.ollama \
 ollama/ollama

CPU 模式：适合 1.5b ~ 7b 模型；8b+ 模型推理慢得难以忍受（除非有 32+ 核 + AVX-512）。

2.3 GPU 加速（Nvidia）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28


# 1. 安装 NVIDIA Container Toolkit
# Ubuntu 官方源
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | \
 sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
 sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
 sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
sudo apt-get update
sudo apt-get install -y nvidia-container-toolkit

# 国内源（USTC）
curl -fsSL https://mirrors.ustc.edu.cn/libnvidia-container/gpgkey | \
 sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
curl -s -L https://mirrors.ustc.edu.cn/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
 sed 's#deb https://nvidia.github.io#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://mirrors.ustc.edu.cn#g' | \
 sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
apt update && apt install -y nvidia-container-toolkit

# 2. 配置 docker
sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker

# 3. 验证
nvidia-container-cli --version

# 4. 启动容器（带 GPU）
docker run -d --gpus=all -v ollama:/root/.ollama \
 -p 11434:11434 --name ollama ollama/ollama

2.4 GPU 加速（AMD ROCm）

1
2
3


docker run -d --device /dev/kfd --device /dev/dri \
 -v ollama:/root/.ollama \
 -p 11434:11434 --name ollama ollama/ollama:rocm

AMD GPU 需要 ROCm 5.7+ 且只支持部分 GPU（RX 7900 / MI 系列等）。

三、模型管理

3.1 进入容器跑模型

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


# 拉模型（自动从 ollama.com 仓库下载）
docker exec -it ollama ollama run deepseek-r1:1.5b

# 7B 模型（需要 ≥8GB 显存）
ollama run deepseek-r1:7b

# 8B 模型
ollama run deepseek-r1:8b

# 32B 模型（需要 24GB+ 显存）
ollama run deepseek-r1:32b

3.2 Ollama 命令

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17


# 列出已下载模型
docker exec ollama ollama list

# 显示模型信息
ollama show deepseek-r1:7b

# 拉取模型
ollama pull llama3

# 拷贝模型
ollama cp deepseek-r1:7b my-deepseek

# 删除模型
ollama rm deepseek-r1:7b

# 后台运行模型（不进入交互）
docker exec -d ollama ollama run deepseek-r1:32b

3.3 拉模型日志（GPU 推理）

1
2
3
4


time=2025-04-08T07:16:19.351Z level=INFO source=routes.go:1297 msg="Listening on 127.0.0.1:11434"
time=2025-04-08T07:16:19.557Z level=INFO source=types.go:130 msg="inference compute" 
 id=GPU-a1af182d-40db-335b-dc0b-664be8894ff9 library=cuda variant=v12 compute=8.9 
 driver=12.4 name="NVIDIA GeForce RTX 4090" total="23.6 GiB" available="23.3 GiB"

关键指标：compute=8.9（CUDA Compute Capability，8.9 = RTX 4090）、total/available（显存）、library=cuda variant=v12（CUDA 版本）。

3.4 API 直接调

1
2
3
4
5


# 拉取模型（API 等价于 ollama pull）
curl http://localhost:11434/api/pull -d '{"name": "deepseek-r1:32b"}'

# 列已加载模型
curl http://localhost:11434/api/tags

OpenAI 兼容接口：Ollama 还提供 http://localhost:11434/v1/chat/completions（OpenAI 兼容），Open WebUI 和其他客户端都能直连。

四、Open WebUI（二合一 docker-compose）

open-webui/open-webui 是 GitHub 上最火的 Ollama Web 客户端（70k+ stars），支持知识库（RAG）、多用户、对话历史、图像生成、语音输入。

4.1 国内镜像加速

1
2


docker pull ghcr.nju.edu.cn/open-webui/open-webui:main
docker pull ghcr.nju.edu.cn/ollama/ollama

ghcr.nju.edu.cn 是南京大学的 GitHub Container Registry 镜像。--add-host=host.docker.internal:host-gateway 让容器能访问宿主机（Ollama 在另一台时也要用）。

4.2 二合一 docker-compose

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29


version: "3"
services:
 ollama:
 image: ghcr.nju.edu.cn/ollama/ollama
 container_name: ollama
 restart: always
 volumes:
 - /home/docker/ollama/data:/root/.ollama
 ports:
 - "11434:11434"
 deploy:
 resources:
 reservations:
 devices:
 - driver: nvidia
 count: all
 capabilities: [gpu]

 open-webui:
 image: ghcr.nju.edu.cn/open-webui/open-webui:main
 container_name: open-webui
 restart: always
 --add-host=host.docker.internal:host-gateway \
 ports:
 - "3000:8080"
 volumes:
 - /home/docker/ollama/open-webui:/app/backend/data
 depends_on:
 - ollama

启动：

1

docker-compose up -d

4.3 Ollama 在另一台服务器

1
2
3
4
5


docker run -d -p 3000:8080 \
 -e OLLAMA_BASE_URL=https://ollama.internal.example.com \
 -v open-webui:/app/backend/data \
 --name open-webui --restart always \
 ghcr.io/open-webui/open-webui:main

OLLAMA_BASE_URL：指定远程 Ollama 地址。

4.4 拉取模型

1
2
3
4


# 1. 浏览器访问 http://<host>:3000
# 2. 用 admin 登录（第一个注册的账号自动是 admin）
# 3. 右上角 用户菜单 → 管理面板 → 设置 → 模型
# 4. 拉取：deepseek-r1:1.5b

或在 Open WebUI 容器内调 API：

1
2
3
4
5


# 拉取模型（后台自动运行）
curl http://localhost:3001/api/pull -d '{"name": "deepseek-r1:32b"}'

# 验证
curl http://localhost:11434/api/tags

五、知识库（RAG）原理

5.1 三件套

Ollama 跑 LLM（deepseek-r1 / qwen / llama3）：回答用户问题
Ollama 跑 Embedding 模型（nomic-embed-text）：把文本库切成 chunk、编码成向量
Open WebUI 知识库：上传文档 → 自动向量化 → 检索时召回 Top K → 拼 prompt 喂 LLM

5.2 拉 Embedding 模型

1

docker exec -it ollama ollama pull nomic-embed-text

5.3 工作流

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14


[用户问 "如何配置 Harbor 复制？"]
 │
 ▼
[Open WebUI 知识库]
 │ ① 文档分块（chunk）
 │ ② nomic-embed-text 向量化
 │ ③ 存进向量库
 │
 │ 查询时：
 │ ④ 问题 → nomic-embed-text 向量化
 │ ⑤ 余弦相似度检索 Top 3
 │ ⑥ 拼 prompt："[上下文] + 用户问题"
 ▼
[Ollama LLM] → 回答

RAG vs Fine-tuning：私有文档问答优先 RAG（成本低、可解释、可更新）；长期沉淀领域知识用 Fine-tuning。

六、LobeChat 备选

LobeChat 是另一个开源 AI 对话客户端，UI 更现代（仿 ChatGPT），支持多模型（OpenAI / Claude / Ollama）。

1

docker pull lobehub/lobe-chat:1.53.12

Open WebUI vs LobeChat：

Open WebUI：原生对 Ollama 友好，知识库内置，多用户权限完整

LobeChat：UI 漂亮，插件市场丰富，知识库是付费功能

生产推荐 Open WebUI（开源 + 自带知识库）

七、模型选型速查

模型	参数量	显存需求	适合
deepseek-r1:1.5b	1.5B	2GB	CPU 也能跑，翻译/简单问答
deepseek-r1:7b	7B	8GB	RTX 3070+ 跑，编程/推理
deepseek-r1:8b	8B	10GB	综合能力强，推荐
qwen2.5:7b	7B	8GB	中文优化好
qwen2.5:14b	14B	16GB	中文场景首选
llama3.1:70b	70B	80GB+	顶级，需要 A100/H100
nomic-embed-text	137M	1GB	Embedding（向量化）

国内场景：中文任务优先 qwen2.5 / deepseek 系列；英文代码任务用 deepseek-coder / codestral。

八、2024+ 视角补充

本文写于 2025-06，2025-2026 期间 Ollama / Open WebUI 生态持续爆发：

Ollama 0.7+ / 0.10+：原生支持 Vision 模型（LLaVA / Qwen2-VL）、Tool Calling（Function Call）、结构化输出（JSON schema 强制）——企业 Agent 应用场景关键
DeepSeek-R1 / Qwen3 系列成主流：DeepSeek-R1 671B 全参版本可通过 Ollama 跑（4-bit 量化后 400GB+，需多卡），Qwen3 系列在中文 / 编程 / 推理任务上全面超越 Llama3 同尺寸
Open WebUI 0.5+：原生支持 Web Search（集成 Tavily / Google CSE / SearXNG）、Code Interpreter（沙箱执行 Python）、Image Generation（A1111 / ComfyUI 后端）
AnythingLLM 1.0+（2025）：向量数据库 + LLM 编排更专业，与 Open WebUI 形成"轻量 vs 企业"双选
多模态：Open WebUI 2025+ 支持上传图片 / 音频 / 视频解析
企业级：Ollama 0.10+ 引入 Ollama Turbo（云推理）+ 私有集群模式（self-host Enterprise）

实战建议（2025-2026 视角）：

个人 / 团队知识库 → Open WebUI 0.5+ + Ollama 0.10+ + Qwen3 32B 仍是首选
企业 Agent → 推荐 Open WebUI + DeepSeek-R1 / Qwen3 + 自建 RAG（AnythingLLM）
GPU 资源紧张 → Ollama 量化模型（Q4_K_M 是甜点）；CPU 推理 → llama.cpp + GGUF 仍是更省的选择
云端推理混合 → Ollama Turbo / OpenAI 兼容 API 混合调用

九、扩展阅读

Ollama 官方仓库：github.com/ollama/ollama
Ollama 模型库：ollama.com/library
Open WebUI 官方仓库：github.com/open-webui/open-webui
LobeChat：github.com/lobehub/lobe-chat
AnythingLLM：anythingllm.com
NVIDIA Container Toolkit：docs.nvidia.com/datacenter/cloud-native/container-toolkit

AI 行业趋势综述：2024 年大模型下半场的'基础设施'之争

Sun, 28 Jul 2024 00:00:00 +0800

数据来源周期：扫描源文档 AI 目录全目录 + business\通用功能\ + business\通用权限\ + opensource\ 跨主题归纳 时间锚点：2024 年 7 月底——Claude 3.5 Sonnet 刚发布，Cursor 现象级爆发，AI 编程工具"军备竞赛"进入白热化

一、为什么值得关注

2024 年是 AI 行业的"分水岭"——

上半年：Claude 3 Opus / GPT-4o / Llama 3 同时登场，模型层第一次出现"三家分晋"
年中：Cursor ARR 突破 1 亿美元，Claude Code 进入"小范围内测"，AI 编程工具从尝鲜变成刚需
下半年：MCP（Model Context Protocol）开始被讨论，“AI 不再是聊天框，而是一个能调工具的工作流” 成为共识

在这个节点回看，2024 年 7 月 = LLM 时代的基础设施定型期。后面的所有"Agent"、“Skill”、“Plugin"都是在这层基础设施上盖楼。

二、模型层格局

模型	出品方	上下文窗口	定位
GPT-4 / GPT-4o	OpenAI	128K	综合能力基准
Claude 3 / Claude 3.5 Sonnet	Anthropic	200K	长文本、代码、Agent
Llama 3	Meta 开源	128K	开源阵营旗舰
DeepSeek	深度求索	32K-128K	国产开源性价比之王
通义千问 / 文心一言	阿里 / 百度	8K-128K	国产闭源主力

重要参数：

上下文窗口：GPT-3.5 是 4K，GPT-4 是 128K——2024 年 128K 已经是入场券，200K 开始出现
Temperature：控制 AI 回答的随机性。温度越高越有创意，温度越低越稳定——生产环境通常用 0~0.3

来源：chatgpt 官方文档

三、AI Agent 框架的"协议之争”

2024 年是 Agent 协议层"统一标准"的起点。理解这一点需要先记住四个关键词：

1. MCP（Model Context Protocol）

MCP 是一个让 AI 统一访问外部工具和数据的标准协议：

功能	说明
访问文件	读写本地文件
搜索引擎	在网上搜索信息
数据库操作	连接数据库查询数据
API 调用	调用各种网络服务

MCP 和 Skills 的关系（重点）：

MCP 是"充电协议"（像 USB-C）

Skills 是"具体的电器"（像手机、电脑）

MCP 定义了怎么沟通，Skills 定义了能干什么。

2. Skills

Skills 就是 AI 学会的各种能力，让 AI 能干具体的事：

工具类技能：代码执行、网络搜索、数据分析、文件操作
知识类技能：领域知识、文档解读、操作指南
工作流技能：任务编排、条件分支、循环迭代

一个 skill 文件 ≈ 一段 prompt + 几段元数据 + 几行工具声明。开源社区正在围绕 “skill” 沉淀一套可分享、可复用的中间层。

3. RAG（检索增强生成）

AI 模型有个大问题：它只知道自己训练时见过的内容。RAG 就是解决这个问题的：

减少幻觉：AI 回答基于真实文档，而不是瞎编
知识可更新：文档更新了，AI 就知道新内容
可溯源：AI 能告诉你答案来自哪篇文档

小白理解：RAG 就是给 AI 配了个"搜索引擎"，让它能查资料再回答，而不是只靠记忆。

4. Memory（长期记忆）

Memory 让 AI 能记住用户说过的话，而不是每次都从零开始。核心技术是 向量数据库——能把文字变成数字向量存储，之后通过相似度来检索：

工具	特点
Chroma	轻量级，适合本地开发
Pinecone	云服务，开箱即用
Milvus	开源，企业级

四、AI 编程工具"军备竞赛"

2024 年 7 月前后，Cursor 现象级爆发——ARR 半年内从 0 涨到 1 亿美元，这是 SaaS 史上最快的增长曲线之一。背后是整个 AI 编程工具赛道的"三股势力"：

阵营	代表	打法
创业公司	Cursor / Continue	“AI-native IDE” 重新发明编辑器
大厂	GitHub Copilot / JetBrains AI	在现有 IDE 里加 AI 侧栏
模型厂自营	Claude Code / Trae	终端 + 规则 + 多 Agent 调度

关键差异点：

Cursor 的护城河是"编辑器体验 + Tab 补全"
Claude Code 的护城河是"终端 + 计划模式 + 工具调用"
Trae 的护城河是"规则工程 + 多模型路由"

趋势判断：单一模型优势会越来越不重要，“工具链厚度"才是护城河。谁先把"插件 / Skill / MCP Server"生态做厚，谁就能锁定用户。

五、行业通用功能 / 权限的"AI 化"压力

观察 business\通用功能\ 和 business\通用权限\ 这两个仓库的演化方向：

通用功能方向：

1
2
3
4


数据库表设计：sys_config
- config_key 配置唯一标识
- config_value 配置内容
- config_type 1string 2json 3int 4bool

传统软件用 sys_config 做配置中心；AI 时代的配置中心开始往 “Prompt Registry / Skill Registry” 演化——同样的 key-value 结构，但 value 从"业务参数"变成了"提示词 + 工具声明”。

通用权限方向：

1
2
3
4
5


- 功能权限（精确到按钮）
- 数据权限（所有 / 所在部门 / 个人）
- 字段可见权限（黑名单机制）
- 最高权限优先原则
- 权限实时生效（删除权限缓存，不删 Session）

AI 时代的新增维度：

维度	传统软件	AI 软件
谁能用	角色 / 部门	角色 + Token 配额
谁能调用工具	RBAC 按钮	RBAC + 工具白名单
数据隔离	数据库行级	RAG 检索结果级
审计	操作日志	Prompt + Tool call 完整回放

趋势判断：未来 3 年，企业级 AI 产品的"权限系统"会和"AI 中台"深度耦合，单纯靠传统 RBAC 已经不够用。

六、值得跟踪的项目

跨 5 个子目录综合筛选后，2024 年下半年值得继续跟踪的项目：

项目	类别	跟踪理由
anthropics/claude-code	AI 编程工具	终端 AI 标杆
claude code	官方文档	模型与协议最权威解读
deepseek	大模型 API	国产开源 API 性价比王
DayuanJiang/next-ai-draw-io	AI + 绘图	MCP + drawio 私有化部署典型
penpot/penpot	设计工具	开源 Figma 替代品
ChromeDevTools/chrome-devtools-mcp	MCP Server	浏览器自动化的事实标准
obra/superpowers	Claude Code 插件	Agent 协作模式探索
continue	AI 编程助手	开源、可自托管

七、总结

2024 年 7 月这个时间点，AI 行业从"模型军备竞赛"转入"基础设施定型期"：

模型层定型——GPT-4o / Claude 3.5 / Llama 3 三足鼎立，DeepSeek 异军突起
协议层起步——MCP 作为"Anthropic 版 USB-C"，被开源社区快速采纳
能力层分层——Skills / RAG / Memory / Tools 四个抽象各自独立发展
工具层爆发——Cursor 现象级增长，AI 编程工具"插件生态"开始竞速
企业层渗透——传统软件的权限 / 配置 / 审计系统开始被迫"AI 化"

站在 2026 年（本文写于 2024-07-28，2 年后再回望）看 2024 年 7 月，最大的感慨是：这一年大家吵的"MCP 是不是 USB-C"，到今天已经没人吵了——大家都默认所有 AI 工具都该有 MCP Server。基础设施一旦定型，就再也感觉不到它的存在。

7.1 2024-07 预测的"2 年验证"（2024→2026）

2024-07-28 文章里提到的几个判断，到 2026-06 收尾时点的实际数据：

2024-07 判断	2026-06 实际
MCP 是"Anthropic 版 USB-C"，会被开源社区快速采纳	完全验证：MCP 已是事实标准，Cursor / Claude Code / Cline / Continue 等主流工具原生支持
Cursor ARR 半年内从 0 涨到 1 亿美元	超额验证：2024 年底 ARR 突破 1 亿，2025 年中 ARR 已超 5 亿美元
模型层"三家分晋"（GPT / Claude / Llama）	基本验证：GPT-5.x / Claude 4.x / Llama 3.x 仍是主流，但 DeepSeek、通义千问 3.x 异军突起
Skills / RAG / Memory / Tools 四个抽象独立发展	完全验证：每个抽象都成了独立赛道，2025 年 Skills 协议层甚至有专门的规范草案
传统软件的权限/配置/审计"AI 化"	缓慢推进：2025 年 RAG 检索结果级权限开始出现，但 RBAC 仍是主流

总结：2024-07 的 5 个判断，4 个完全验证、1 个缓慢推进、0 个证伪。基础设施定型期的判断基本正确。

7.2 2026 时点的"再下一轮"观察

站在 2026-06 看，AI 行业从 2024 的"基础设施定型期"已转入"应用层大爆发期"：

Agent 协议：MCP 之外，Google 推出 A2A（Agent-to-Agent）协议补足多 Agent 协作
Skills 标准化：2025 年底 Anthropic / OpenAI / 社区共同推出 Skills 协议草案
AI 编程工具：Cursor / Claude Code / Copilot / Trae / Windsurf 五强格局基本稳定
企业 AI 落地：2025 年起"AI 中台"成为大厂标配，与权限/审计系统深度集成
模型层：2025 年底"上下文窗口 1M+“成旗舰标配，模型能力差距从"能不能做"转向"成本/速度”

2024-07 那些"吵"的点，到 2026-06 都"不吵"了——这是基础设施定型的标志。