本地跑开源模型的事实标准工具:MIT、近每日发版、一行安装;注意默认上下文 4096 与端口暴露两个常见坑。
适合谁
- 在本地/内网跑开源模型、在意数据不出机器的开发者
- 用 REST API(localhost:11434)给应用接本地推理的团队
- 想用 Docker 统一部署推理环境的运维场景
不要用,如果要
- 需要长上下文但不调参——默认 4096 token,长文档会被静默截断(见 T2)
- 需要多机提供推理服务且无代理/鉴权层——默认只监听 127.0.0.1,改绑全网卡后风险自担(见 T1)
体检卡
90 分 · 最后一次推送 2026-10-30,近 7 天连发 5 个版本(v0.40.9–v0.40.13),185,382 star
90 分 · README 提供三大平台一行安装命令 + 官方 Docker 镜像,REST API 开箱即用
— 分 · 未评估 · 缺证据:未实测:常见 7B/13B 模型的显存与内存占用缺本机数据
90 分 · MIT;模型层走开放格式生态,客户端随时可换(推断 E3 基于开放 API 形态)
75 分 · 无已发布安全公告(E1);open issues 4,506 数量大,但发版频率高说明响应活跃(E1)
85 分 · 官方 Docker 镜像、REST API、桌面端安装器俱全;FAQ 载明代理/隧道/跨域等集成路径
加权总分 87.5 / 100(仅已评维度参与,已评权重 80;公式:(90×25+90×20+90×15+75×10+85×10) ÷ 80)。未评估维度不记 0 分,也不参与计算。
| # | 红线类型 | 级别 | 判定 | 说明 | 来源 |
|---|---|---|---|---|---|
| R1 | 已停更 | 禁止级 | 未命中 | 最后一次推送 2026-10-30T21:34:59Z,距今 0 天 | 原文 |
| R2 | 协议不明 | 警示级 | 未命中 | GitHub 识别为 MIT,无歧义 | 原文 |
| R3 | 高危 CVE | 禁止级 | 未命中 | security-advisories 返回空 | 原文 |
| R4 | 遥测不可关 | 警示级 | 未命中 | 官方 FAQ 明确:本地运行不上传提示词与回答;云功能可用 OLLAMA_NO_CLOUD=1 或 server.json 关闭——可关闭,不命中 | 原文 |
解剖:它到底怎么工作
本地模型运行时:把开源权重拉取(pull)、量化存储、一键 serve,并暴露 OpenAI 风格之外的本地 REST API;桌面端安装器覆盖 macOS/Windows/Linux,另有官方 Docker 镜像。
核心机制
ollama pull 从模型库拉权重到本地(macOS ~/.ollama/models、Linux /usr/share/ollama/.ollama/models、Windows 用户目录——FAQ 载明)。
ollama serve 常驻 HTTP 服务,REST API 监听 11434,支持 generate/chat 与模型管理端点。
扩展点
环境变量体系(OLLAMA_HOST / OLLAMA_MODELS / OLLAMA_CONTEXT_LENGTH / OLLAMA_ORIGINS / OLLAMA_NO_CLOUD)覆盖绝大多数行为配置(FAQ 载明)。
对外暴露走反向代理或隧道(Nginx/ngrok/Cloudflare Tunnel,FAQ 给出配置示例)。
未评估
并发请求下的吞吐与排队行为、GPU 层的显存管理细节——需实测。
避坑指南
每条陷阱都有可点击来源(E1);没有来源的「坑」不写。本报告共 3 条。
你会看到:容器里或其他机器连不上 11434;直接设 OLLAMA_HOST=0.0.0.0 后,局域网内任何人都能调用你的模型。
根因:官方 FAQ:Ollama 默认绑定 127.0.0.1:11434,需用 OLLAMA_HOST 改绑定;文档给的对外方案是 Nginx 代理/tunnel,未见内置鉴权机制。
缓解:跨机访问务必置于带鉴权的反向代理之后或限制防火墙来源;不要裸绑 0.0.0.0。
证据 E1 · https://docs.ollama.com/faq
你会看到:喂长文本时回答丢失后半段内容、RAG 效果莫名变差——没有任何报错。
根因:官方 FAQ:默认上下文 4096 tokens,需用 OLLAMA_CONTEXT_LENGTH 或 API 参数 num_ctx 覆盖。
缓解:长文本场景在环境变量或 API options 里显式设置 num_ctx,并核对显存是否够用。
证据 E1 · https://docs.ollama.com/faq
你会看到:隔离环境里出现意料之外的云端请求或云模型入口。
根因:官方 FAQ:可用 server.json 里 disable_ollama_cloud:true 或环境变量 OLLAMA_NO_CLOUD=1 关闭。
缓解:隐私敏感部署统一在配置里关闭云功能并验证日志出现「Ollama cloud disabled: true」。
证据 E1 · https://docs.ollama.com/faq
成本账
| 上手时间 | 未评估(未实测:上手时间与主流模型显存占用未在本机验证) |
|---|---|
| 算力 | 模型跑在本机:小模型 CPU 可行,7B+ 建议 GPU(README/模型页有显存说明,未逐一实测) |
| 钱 | MIT 无许可费;模型权重按各自许可(多为开放权重);云模型按官方计费 |
| 长期维护 | 发版极快,定期升级即可;无强制运维 |
替代方案
| 候选 | 为什么可能不选它 |
|---|---|
| llama.cpp | 更底层的推理引擎、参数控制更细,但要自己管服务化与模型分发;Ollama 本身基于其成果做了封装(推断 E3) |
| vLLM | 高吞吐服务化场景更强,但部署门槛(GPU/依赖)显著更高,不适合个人本地用(推断 E3) |
| LM Studio | 桌面体验好,但闭源且无服务端 API 生态(推断 E3) |
证据链
展开全部 5 条证据(断言 → 来源 → 等级)
| # | 断言 | 等级 | 来源 |
|---|---|---|---|
| E1 | star = 185,382;pushed_at = 2026-10-30T21:34:59Z;license SPDX = MIT;open issues 4,506 | E1 | https://api.github.com/repos/ollama/ollama |
| E2 | 近 5 个 release:v0.40.13(2026-10-28)、v0.40.12(2026-10-27)、v0.40.11(2026-10-24)等,节奏约每日 | E1 | https://api.github.com/repos/ollama/ollama/releases |
| E3 | README:三大平台一行安装命令;官方 Docker 镜像 ollama/ollama;REST API 示例 curl http://localhost:11434 | E1 | https://github.com/ollama/ollama#readme |
| E4 | 官方 FAQ:默认绑定 127.0.0.1:11434,OLLAMA_HOST 改绑定;默认上下文 4096(OLLAMA_CONTEXT_LENGTH/num_ctx);云功能可经 OLLAMA_NO_CLOUD=1 或 server.json 关闭;代理/隧道集成路径 | E1 | https://docs.ollama.com/faq |
| E5 | security-advisories 返回空列表 | E1 | https://api.github.com/repos/ollama/ollama/security-advisories |