开源大模型私有化部署:用 Ollama 在本地跑 DeepSeek
AI先给结论:数据不想出本机、又想用上大模型,最省事的路子是「开源模型 + Ollama」——一条命令装、一条命令拉模型、自带本地接口,还能用 OpenAI 兼容协议直接接回你现在的 Agent(D2 配 Key、D3 本地 vs 云端、D8 的 Agent 循环)。不用自己编译、不用折腾推理框架,普通显卡也能跑 7B/14B 级别的蒸馏模型。
一、什么场景该私有化
- 数据敏感:合同、客户资料、内部文档,不能喂给云端模型;
- 要稳定可控:不被云端限流、不担心厂商改策略;
- 成本可预期:一次部署,反复用,不按 token 计费;
- 离线可用:内网、无外网环境也能跑。
如果只是偶尔问问通用问题,云端(D2 的 Kimi)更省事;一旦涉及私有数据或长期高频,私有化才值。这和 D3 说的「本地 vs 云端」判断一致,本文是它的落地操作篇。
二、Ollama 是什么、怎么跑
Ollama 把开源模型的下载、运行、接口全包了。装好后基本就两条命令:
ollama pull deepseek-r1:7b # 拉一个 7B 蒸馏版,普通人显卡能跑 ollama run deepseek-r1:7b # 命令行直接开聊
跑起来后,Ollama 默认在本地起一个服务,自带 OpenAI 兼容接口——这意味着你现有调云端模型的代码,几乎不用改,只要把地址指到本地。
三、用 OpenAI 兼容接口接回 Agent
D2 里你配过 Kimi 的 Key,D8 的 Agent 循环也是调模型接口。换成本地模型,关键只改 base_url:
# Ollama 自带 OpenAI 兼容接口,把 base_url 指到本地即可
from openai import OpenAI
c = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
resp = c.chat.completions.create(
model="deepseek-r1:7b",
messages=[{"role": "user", "content": "帮我总结这段合同风险"}]
)
就这一行 base_url 的区别,你的 Agent(D8)立刻从「云端大模型」切到「本机大模型」,私有数据全程不出机。配合 D13 的 RAG,还能让本地模型只基于你的私有文档答。
四、模型怎么选(显存取舍)
| 级别 | 大致显存 | 适合 |
|---|---|---|
| 7B 蒸馏 | 约 8GB | 单卡消费级显卡,日常问答够用 |
| 14B~32B | 16~24GB+ | 要更准的推理、复杂任务 |
| 更大 | 专业卡 | 企业级,个人一般用不到 |
普通人从 7B 蒸馏版起步最稳,跑通再按需要升。别一上来追最大的,显存不够直接 OOM。
五、常见坑
| 坑 | 原因 | 规避 |
|---|---|---|
| 显存爆了 OOM | 模型太大 | 先 7B;或开量化减小体积 |
| 接口连不上 | Ollama 没起 / 地址错 | 确认服务在跑、base_url 含 /v1 |
| 觉得本地模型「笨」 | 小模型能力上限 | 关键任务用大一级,或回云端 |
| 忘了 D12 约束 | 本地模型也幻觉 | 提示词照写「基于文档答、不确定说不知道」 |
六、FAQ
Q:本地跑和 D3 说的云端 API 怎么分工? 敏感/高频/离线走本地(Ollama),通用闲聊和要最强能力走云端(Kimi)。同一套 OpenAI 兼容代码,换 base_url 就能切,互不冲突。
Q:Mac 笔记本能跑吗? 能。Ollama 对 Mac 支持很好,7B 蒸馏版在较新 Mac 上体验顺滑,适合个人试水。
Q:和 D11 的 Dify 能配合吗? 能。Dify 里把模型供应商指向本地的 OpenAI 兼容接口,就能用私有模型做应用,数据照样不出机。
小结
私有化最省事的路线就是开源模型 + Ollama:装好、拉模型、起服务,再用 OpenAI 兼容接口把 base_url 一改,你现有的 Agent(D8)和 RAG(D13)立刻切到本机,私有数据不出机。选型从 7B 蒸馏版起步,跑通再升;显存不够就量化,别硬上大模型。它和云端(D2/D3)不是二选一,而是按「敏不敏感、高频不高」分工搭配。具体模型版本、量化参数与硬件要求以你查阅当天官方说明为准。