开源大模型私有化部署:用 Ollama 在本地跑 DeepSeek

先给结论:数据不想出本机、又想用上大模型,最省事的路子是「开源模型 + Ollama」——一条命令装、一条命令拉模型、自带本地接口,还能用 OpenAI 兼容协议直接接回你现在的 Agent(D2 配 Key、D3 本地 vs 云端、D8 的 Agent 循环)。不用自己编译、不用折腾推理框架,普通显卡也能跑 7B/14B 级别的蒸馏模型。

一、什么场景该私有化

  • 数据敏感:合同、客户资料、内部文档,不能喂给云端模型;
  • 要稳定可控:不被云端限流、不担心厂商改策略;
  • 成本可预期:一次部署,反复用,不按 token 计费;
  • 离线可用:内网、无外网环境也能跑。

如果只是偶尔问问通用问题,云端(D2 的 Kimi)更省事;一旦涉及私有数据或长期高频,私有化才值。这和 D3 说的「本地 vs 云端」判断一致,本文是它的落地操作篇。

二、Ollama 是什么、怎么跑

Ollama 把开源模型的下载、运行、接口全包了。装好后基本就两条命令:

ollama pull deepseek-r1:7b     # 拉一个 7B 蒸馏版,普通人显卡能跑
ollama run deepseek-r1:7b      # 命令行直接开聊

跑起来后,Ollama 默认在本地起一个服务,自带 OpenAI 兼容接口——这意味着你现有调云端模型的代码,几乎不用改,只要把地址指到本地。

三、用 OpenAI 兼容接口接回 Agent

D2 里你配过 Kimi 的 Key,D8 的 Agent 循环也是调模型接口。换成本地模型,关键只改 base_url:

# Ollama 自带 OpenAI 兼容接口,把 base_url 指到本地即可
from openai import OpenAI
c = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
resp = c.chat.completions.create(
    model="deepseek-r1:7b",
    messages=[{"role": "user", "content": "帮我总结这段合同风险"}]
)

就这一行 base_url 的区别,你的 Agent(D8)立刻从「云端大模型」切到「本机大模型」,私有数据全程不出机。配合 D13 的 RAG,还能让本地模型只基于你的私有文档答。

四、模型怎么选(显存取舍)

级别大致显存适合
7B 蒸馏约 8GB单卡消费级显卡,日常问答够用
14B~32B16~24GB+要更准的推理、复杂任务
更大专业卡企业级,个人一般用不到

普通人从 7B 蒸馏版起步最稳,跑通再按需要升。别一上来追最大的,显存不够直接 OOM。

五、常见坑

坑原因规避
显存爆了 OOM模型太大先 7B;或开量化减小体积
接口连不上Ollama 没起 / 地址错确认服务在跑、base_url 含 /v1
觉得本地模型「笨」小模型能力上限关键任务用大一级,或回云端
忘了 D12 约束本地模型也幻觉提示词照写「基于文档答、不确定说不知道」

六、FAQ

Q:本地跑和 D3 说的云端 API 怎么分工? 敏感/高频/离线走本地(Ollama),通用闲聊和要最强能力走云端(Kimi)。同一套 OpenAI 兼容代码,换 base_url 就能切,互不冲突。

Q:Mac 笔记本能跑吗? 能。Ollama 对 Mac 支持很好,7B 蒸馏版在较新 Mac 上体验顺滑,适合个人试水。

Q:和 D11 的 Dify 能配合吗? 能。Dify 里把模型供应商指向本地的 OpenAI 兼容接口,就能用私有模型做应用,数据照样不出机。

小结

私有化最省事的路线就是开源模型 + Ollama:装好、拉模型、起服务,再用 OpenAI 兼容接口把 base_url 一改,你现有的 Agent(D8)和 RAG(D13)立刻切到本机,私有数据不出机。选型从 7B 蒸馏版起步,跑通再升;显存不够就量化,别硬上大模型。它和云端(D2/D3)不是二选一,而是按「敏不敏感、高频不高」分工搭配。具体模型版本、量化参数与硬件要求以你查阅当天官方说明为准。

相关推荐

相关推荐

评论(0)
发表评论