大模型入门:Token、上下文窗口、温度、幻觉与 Python 环境配置

🎯 本节目标

学完这一节,你能:

• 用生活化类比说清 Token、上下文窗口、温度、幻觉 四个核心概念
• 在自己电脑上装好 Python + 虚拟环境 + .env 配置
• 申请到至少一个国产大模型 API Key(=调用模型的密码,免费/低价)

🍎 生活化类比

大模型 = 一个读过全世界所有书、但有点健忘的超级实习生。

• Token:他读书不是按"字"读,是按"词块"读。中文一个词大概 1-2 个 token,英文一个词 1 个 token
• 上下文窗口:他的"短期记忆容量"。GPT-4 Turbo 是 128K token(约 10 万字中文),Kimi 是 1M(约 70 万字)。超了他就忘前面
• 温度:他的"想象力旋钮"。温度 0 = 一板一眼照搬;温度 1 = 天马行空(甚至瞎编)
• 幻觉:他不懂装懂的毛病。问不知道的事,他不会说"我不知道",而是编一个看起来很像真的答案

FDE 的工作,一大半就是管好这个实习生:给他清晰的指令(Prompt)、给他查资料的工具(RAG)、检查他的作业(评估)。

📖 概念讲解

Token:大模型的"计价单位"

大模型不是按"字"处理,是按 token 处理。token 是模型把文本切成的最小单元。

• 英文:hello = 1 token,hamburger = 2-3 token
• 中文:你好 ≈ 2 token,人工智能 ≈ 4-6 token
• 代码:一个缩进、一个括号都算 token

为什么重要:① API 按 token 收费 ② 上下文窗口按 token 算 ③ Prompt 太长会被截断

国产模型里,DeepSeek 最便宜(约 ¥1/百万 token),通义/GLM 中档,豆包按量计价。

上下文窗口:模型的"短期记忆"

模型每次只能"看见"有限长度的文本,这个限制叫上下文窗口。

FDE 实战含义:做 RAG 时,如果你塞进去的文档 + 历史对话超了窗口,模型会"忘"前面的内容——这就是为什么要做分块(chunking)。

温度(Temperature):创造力旋钮

温度控制输出的随机性,范围 0-2:

FDE 默认经验:做企业应用,温度开 0-0.3,要确定性不要创意。

幻觉(Hallucination):必须管的毛病

模型会自信地编造不存在的事实。比如:

问:"请介绍《2024 年中国 FDE 行业白皮书》的核心结论" 模型:编造一份看起来很真实的白皮书摘要(其实这书不存在)

FDE 怎么治幻觉:

1. RAG:只让模型基于你给的资料回答(模块 4)
2. 结构化输出:强制模型按 Schema 输出,减少自由发挥
3. 评估:用 RAGAS 测 faithfulness 指标(模块 5)
4. Prompt 约束:加"如果不知道就说不知道,不要编造"

🛠️ 动手实操:配置开发环境

Step 1:装 Python(3.10+)

# macOS(用 Homebrew)
brew install python@3.12

# 验证
python3 --version
# 应该输出 Python 3.12.x

Step 2:建项目目录 + 虚拟环境

mkdir ~/fde-learn && cd ~/fde-learn

# 创建虚拟环境(隔离依赖,不污染系统)
python3 -m venv .venv

# 激活(macOS/Linux)
source .venv/bin/activate

# 激活后命令行前面会出现 (.venv)
# Windows 用:.venv\Scripts\activate

✅ 激活成功标志:命令行提示符变成 (.venv) user@mac $

Step 3:装必备包

# 确保已激活虚拟环境
pip install --upgrade pip
pip install openai python-dotenv requests

这些包的作用:openai(兼容大部分国产模型 API) · python-dotenv(读 .env) · requests(调 HTTP)

Step 4:配置 .env(安全存放 API Key)

# 在 ~/fde-learn 目录
touch .env

用编辑器打开 .env,填入(下一节我们会申请 Key):

# 智谱 GLM(推荐,国内免费额度大)
GLM_API_KEY=你的key填这里

# 或 DeepSeek(便宜)
DEEPSEEK_API_KEY=你的key填这里

# 或 通义千问
QWEN_API_KEY=你的key填这里

重要:.env 文件绝对不要提交到 git。建一个 .gitignore:

echo ".env" > .gitignore
echo ".venv/" >> .gitignore

Step 5:申请国产大模型 API Key(选一个)

以智谱为例:

1. 注册登录 https://open.bigmodel.cn
2. 右上角 → "API Keys" → 创建新 Key
3. 复制 Key,粘贴到 .env 的 GLM_API_KEY= 后面

⚠️ 常见错误

✅ 自测题

<summary>1. 上下文窗口超了会怎样?</summary>

模型会"忘"前面的内容(通常是早期的对话或文档)。这就是 RAG 要做分块的原因——不能把整本书一次塞进去。

</details> <summary>2. 做企业分类任务,温度应该开多少?</summary>

0(或 0-0.3)。企业应用要确定性,不要创意。同样的输入应该得到同样的输出。

</details> <summary>3. 为什么 .env 不能提交到 git?</summary>

API Key 一旦泄露,别人能盗用你的额度,甚至冒充你调用。.env 必须加进 .gitignore,Key 泄露要立即吊销重发。

</details>

📚 总结 & 下一节

3 句话回顾:

1. 大模型像"健忘的超级实习生":Token 是计价单位,上下文窗口是记忆容量,温度管创造力,幻觉要靠 RAG + 评估治
2. 开发环境三件套:Python 3.10+ + 虚拟环境 + .env(放 Key,不进 git)
3. 国产 API 优先选:智谱 GLM / DeepSeek / 通义,都有免费额度

下一节:我们写第一行代码调通大模型 API——这是整个教程的第一个"啊哈时刻"。

🏋️ 配套自练

• OpenAI Tokenizer — 可视化看一句话被切成多少 token,直观理解"大模型怎么读字"(免费、可能要翻墙)
• 智谱开放平台 — 注册账号,申请 API Key,为下一节调 API 做准备(免费额度)
• DeepSeek 开放平台 — 备选平台,充值 ¥10 够用很久

🔗 延伸阅读

• 智谱 GLM 开发文档
• DeepSeek API 文档
• OpenAI Tokenizer(可视化看 token 切分)

---

← 上一节:FDE 能力地图 | 下一节:第一次调通 API →