模型、数据、算力,是跑开源模型的三样原料。这一课把三件事一次讲清:去哪找、怎么下、没有显卡怎么开工。
一、国内下载开源模型,先去魔搭
HuggingFace 需要科学上网的年代已经过去。现在国内第一入口是 ModelScope 魔搭社区:下载快,国内外开源模型基本第一时间上架,且不止模型——还有 4 万多个开源数据集。
找模型的方法:已知名字直接搜;还没确定就用"任务类型"筛(文本生成/图像分类/语音识别……),再叠加语言、参数规模、运行框架、许可证逐步收窄。怎么把业务需求翻译成任务标签,是下一章的主题。
二、四种下载方式,选一个顺手的
以 Qwen/Qwen3-0.6B 为例:
# 1. 命令行(先装 pip install -U modelscope)
modelscope download --model Qwen/Qwen3-0.6B --local_dir ./Qwen3-0.6B
# 只下单个文件(先验证下载是否正常的好习惯)
modelscope download --model Qwen/Qwen3-0.6B README.md --local_dir ./Qwen3-0.6B
# 2. Python SDK
from modelscope import snapshot_download
model_dir = snapshot_download('Qwen/Qwen3-0.6B', local_dir='./Qwen3-0.6B')
- 网页:模型文件页点下载按钮,适合拿几个文件;
- Git + LFS:
git lfs install && git clone https://www.modelscope.cn/Qwen/Qwen3-0.6B.git,适合已有 Git 工作习惯的人。
临时拿文件用网页,终端操作用命令行,Python 项目用 SDK。下载完成后打开使用示例,把模型路径换成本地目录,先跑通一次输入输出。
数据集同理:MsDataset.load() 支持指定子集(subset_name)、划分(split='train')和版本(version)。下载前先"数据预览"翻几条——问题在哪列、答案在哪列、一条数据是文本还是对话,看清楚再写处理代码;做实验记下版本号,否则数据更新后无法复现。
三、没有 GPU:魔搭 Notebook 免费额度
| 资源 | 配置与额度 | 适合做什么 |
|---|---|---|
| CPU 环境 | 8 核 / 32GB 内存,免费不限时长 | 下载、数据处理、调试代码 |
| GPU 环境 | NVIDIA A10 / 24GB 显存,36 小时免费时长 | 该显存规模的推理与小规模微调 |
| 持久化存储 | 100GB | 代码、模型、数据、实验结果 |
三条新手必须知道的纪律:
- 要保留的文件放
/mnt/workspace——100GB 持久存储挂载在这里,其他路径的文件实例关闭即丢。开局先建目录:mkdir -p /mnt/workspace/{models,data,outputs}; - GPU 用完立刻停实例——关浏览器不等于停机,时长照扣;
- 长任务提前把进度写到持久盘,模型文件定期清理,
du -sh /mnt/workspace看余量。
四、FDE 视角:这是你给客户的"零成本验证环境"
- 售前 PoC:客户不肯给环境之前,Notebook 免费额度足够跑通数据可行性验证,A10 24GB 能覆盖 7B 级 LoRA 微调演示;
- 客户内网环境的沙盘推演:下载方式、目录规划、磁盘余量管理,就是将来驻场时在客户机器上做的事,先用免费环境练熟;
- 交付物预演:把
/mnt/workspace的目录约定直接搬进交付文档(models/data/outputs 三分法),客户运维一眼能看懂。
本课自测
- 四种模型下载方式分别适合什么场景?
- 魔搭 Notebook 的免费 CPU 和 GPU 额度分别是什么?哪类活该用 CPU 环境干?
- 为什么必须把文件放在
/mnt/workspace?不开机后哪些东西会丢? - 加载数据集时,
subset_name、split、version三个参数各控制什么?
随堂测
逐题作答,即时反馈
1. 魔搭 Notebook 的免费资源中,GPU 环境的配置与额度是?
2. 在魔搭 Notebook 里,哪些文件在实例关闭后仍然保留?
3. 为了让数据实验可以被复现,加载数据集时除了下载数据还应该记录什么?