笔记本到产线：Ollama 与量化版本选择

客户环境没有 A100，只有办公笔记本和一台老服务器——这类预算下，Ollama + 量化模型是最常见的落地组合。这一课讲清两件事：什么时候该本地部署，以及量化版本怎么挑。

一、什么情况该把模型放到自己电脑上

API 模式最省心，但有三个绕不开的限制：

数据安全：核心文档、客户隐私、内部业务数据，不能传给第三方公有云；
离线可用：内网、专线等生产环境根本连不了外网；
成本控制：调用量大且稳定时，自建服务器的综合成本低于一直按 Token 付费。

Ollama 把模型下载、本地管理和接口服务打包在一起，Windows / Linux / macOS 全支持：普通 CPU 能跑（慢，适合小模型或不敏感的场景）、有 NVIDIA/AMD 显卡走 GPU、Apple Silicon 的 Mac 靠统一内存也能跑较大的量化模型（32GB/64GB 统一内存可以一试 7B 以上量化版）。

安装后两条命令起服务：

ollama run qwen3.5:2b          # 拉模型 + 进入对话
# OpenAI 兼容接口，现有代码几乎零改造：
# base_url = http://127.0.0.1:11434/v1, api_key = "ollama"

也可以直接跑魔搭上的 GGUF 模型：ollama run modelscope.cn/unsloth/Qwen3-4B-GGUF。对客户系统的意义：OpenAI 兼容接口意味着原有调 API 的代码把 base_url 指到本地，业务代码不用重写——这是私有化方案里最平滑的迁移路径。

二、量化：显存装不下时的第一杠杆

量化（Quantization）= 降低权重数值的表示精度。以 7B 模型为例，只算权重：

表示方式	理论大小
16 bit	~14GB
8 bit	~7GB
4 bit	~3.5GB

代价与收益要对称看：文件更小、下载存储更省、内存/显存占用更低，支持得当时还可能提速；但文件缩到 1/4 不代表速度提升 4 倍，且降精度可能影响回答质量——影响程度取决于模型、量化方法和任务，必须用自己的任务实测。

两条量化路线：PTQ 训练后量化（拿到成品模型再转低精度，部分方法需少量校准数据）和 QAT 量化感知训练（训练中模拟量化影响）。本地跑模型遇到的基本都是 PTQ 产物。

三、GGUF 与 Q4/Q8：文件名里的信息

GGUF 是 llama.cpp / Ollama 生态的模型文件格式（2023 年推出）：单文件部署、支持内存映射、元数据（模型结构、模板等）齐全——大模型能在个人电脑上跑起来，一半功劳在这个格式。注意：GGUF 只是文件格式，真正省资源的是里面的量化。

文件名里的 Q4_K_M 这类标记怎么看：

Q = 量化，数字 = 主要量化位数（Q4 以 4bit 为主，Q8 以 8bit 为主）；
K = K-quant 量化方案，M = 该方案中的 Medium 配置；
注意 Q4 不代表所有参数都是 4bit——不同张量可能混用不同精度。

四、版本怎么选：先能跑，再好用

确认推理工具支持该模型；
对照设备内存/显存选版本——接近上限就降一档，给上下文和运行过程留余量；
资源够时，用同一组任务问题横向比较不同版本回答质量，重点看你要的任务（信息抽取、代码、规定格式输出）。

先确认稳定运行，再检查回答质量——顺序反了会浪费大量时间。

五、FDE 视角：端侧方案的谈判用法

演示利器：在客户会议室的笔记本上离线跑通一个问答 Demo，比任何 PPT 都能打消"必须上云"的疑虑；
分层报价：端侧 Ollama（数据不出设备）→ 单卡服务器量化推理（小团队共享）→ GPU 服务器 vLLM（高并发生产），三档配置对应三档预算，让客户按数据敏感度和并发量对号入座；
验收口径：量化版本切换后，用客户业务测试集回归一遍再签字——"能跑"和"能交付"之间隔着一个评测（呼应《微调效果验收》）。

本课自测

本地部署相对 API 的三大理由是什么？
Ollama 的 OpenAI 兼容接口对私有化迁移为什么关键？
7B 模型从 FP16 换到 4bit 量化，权重从多少降到多少？"文件缩 1/4"能推出"速度提 4 倍"吗？
Q4_K_M 三个部分各代表什么？为什么说 Q4 不等于所有参数都是 4bit？