把 AI 用明白（八）：在自己电脑上跑开源模型

上一篇关了一大堆开关，但有个问题绕不过去：再怎么关，你的话还是要发到别人的服务器上。第四篇也留了个尾巴：国产模型很多是开源的，自己跑又怎么样？

这篇就讲这个：把模型下载到自己电脑上，断网也能用。数据一个字节都不出门，前面那些设置全都不用管了。

听起来很美，但我得先泼盆冷水。我猜我的读者不可能有什么好电脑，哈哈哈哈。我自己也一样，最好的电脑就是一台 32GB 内存的核显 PC，外加一台两年前的 Mac mini。所以这篇不讲四块显卡的土豪玩法，只讲普通人的电脑到底能跑什么。

一、开源模型是什么

严格说应该叫开放权重。第二篇讲过，模型就是几百亿个调好的旋钮，这些旋钮的数值就叫权重。开放权重的意思是：公司把这堆数值打包放出来，你下载一个几 GB 到上百 GB 的文件，就能在自己机器上运行。至于它是用什么数据、怎么训练的，通常并不公开，所以和传统意义上的开源软件不完全一样。不过大家都叫开源模型，我也跟着这么叫。

跟 ChatGPT、Claude 这种闭源模型比，好处和代价都很明显：

二、20b、35b 的 b 是什么意思

逛模型列表时你会看到 gpt-oss:20b、qwen3.6:35b 这种名字。这个 b 是 billion，十亿，指模型参数的数量。20b 就是 200 亿个旋钮。注意它不是 GB，不是文件大小。

参数越多，模型一般越聪明，也越占内存。给你点感觉：

文件大小是 2026 年 11 月前后 Ollama 等处列的数字，你看到时可能已经变了。

为什么 20b 的模型只有 14GB？因为有量化。模型里每个参数本来用 16 位甚至 32 位来存，量化就是压到 8 位、4 位，好比把无损音乐压成 MP3，文件小很多，质量损失一点。网上下到的基本都是 4 位左右的版本。于是有个很好用的经验公式：

4 位量化下，每 1b 参数大约占 0.6 到 0.7GB。

实际跑的时候再多留几个 GB，给上下文和系统用。谷歌就提醒过，文件大小不等于运行时的全部内存。

名字里还有两个坑：

• E2B、E4B 的 E 是 effective（有效）。Gemma 4 这两款是专门为手机和笔记本做的小模型，所以你会看到它比 4b 的公式算出来大一点。
• Flash 不等于小。DeepSeek V4 Flash 听着像轻量版，实际有 284b，按 Unsloth 的文档，最小的版本也要约 110GB 内存。它用的是“混合专家”结构，每次只激活其中 13b，所以能算得快，但全部参数还是得装进内存。在 DeepSeek 家它确实算小的，V4 Pro 有 1.6 万亿参数。对我们来说，这就是看看而已。

三、内存才是硬伤

本地跑模型，第一道门槛是内存，不是 GPU。模型必须整个装进内存，装不下就是装不下，再快的显卡也没用。

这里的“内存”分几种情况：

• 独立显卡：用显存，最快。但普通游戏卡也就 8 到 16GB，模型越大显卡越贵。
• 苹果芯片：内存是 CPU 和 GPU 共用的，32GB 的 Mac 差不多能当 32GB 显存用，这是苹果的优势。但内存焊死了，买的时候选多大，这辈子就多大。
• 核显：就是我那台 PC，用的是 Intel 核显。32GB 能装下不小的模型，但跑起来慢，一个字一个字往外挤，大模型能慢到你去泡杯茶回来它还在想。
• 纯 CPU：更慢，只适合最小的模型。所以跑起来之后看一眼任务管理器，确认是 GPU 在干活，不是 CPU 在硬扛。

对照一下你的电脑（模型文件大小加上系统占用，留点余量）：

Windows 和浏览器本身就吃掉不少内存，所以 16GB 的电脑实际可用远没有 16GB。上下文也占内存，别一上来就把窗口开到最大。

四、用什么跑

三个常用工具都免费，底层大多是同一个开源项目 llama.cpp，新手不用直接碰它。

LM Studio：五步跑起来

1. 去官网下载安装。Windows 的 CPU 要支持 AVX2，这几年的电脑基本都有；Mac 要苹果芯片。官方建议 16GB 以上内存。
2. 打开后点搜索，输入 gemma 4。
3. 选一个小的，比如 E4B 或 E2B，看它标注的是否适合你的机器，点下载。
4. 下完载入模型，开始聊天。
5. 想验证的话，把网断了再问一句。还能回答，就说明真的在本地。

Ollama：一条命令

ollama run gemma4

第一次运行会自动下载，下完直接在终端里聊。想要别的尺寸就加标签：

ollama run gemma4:e2b
ollama run gpt-oss:20b
ollama run qwen3.6:27b

这里有个隐私大坑：带 :cloud 的模型不在你电脑上跑。比如 deepseek-v4.1-flash:cloud，命令长得一样，实际是发到云端的。你要是为了隐私才来跑本地模型，一定要看清楚，只用本地模型的话可以按文档把云功能关掉。别的工具也一样，认准模型确实下载到了本地。

文件也有讲究：下模型去官方或者知名的发布者那里，别随便下陌生人传的文件。

五、我跑什么

我最喜欢的是谷歌的 Gemma 4。Apache 2.0 许可，小款也能看图，E2B、E4B 就是给小设备做的，我那两台破电脑都带得动。

我拿它干的都是轻活：

• 没网的时候：飞机、高铁上查个语法，翻译一段话。
• 极度隐私的内容：不想发给任何公司的东西。比如日记、体检报告、合同，让它总结或者改写一下。
• 简单重复的活：提取信息、分类、改格式。

别让它干的：写复杂代码、做 agent、查事实。小模型幻觉更重，第二篇说的毛病它全有，而且更严重。也别指望它知道最近的事。

手机也能跑

更离谱的是，Gemma 4 的小款连手机都跑得动。谷歌有个开源 App 叫 Edge Gallery，Apache 2.0 许可，iOS 和安卓都有，国区 App Store 也能下。App 里下载好模型，开飞行模式照样能聊，还能拍照问它。

我自己的顶配 iPhone Pro Max 真的跑得动。纽约飞上海那 14 个小时，无聊到发慌，我们这种穷逼只能坐经济舱，腿伸不直，Wi-Fi 也舍不得买，手机开着飞行模式，Gemma 就这么在万米高空陪我聊天，还挺奇妙的。报道里的建议是，大多数手机用 E2B，E4B 留给 Pro Max 这种旗舰。App 目前还是实验性的 Beta 版，手机内存又小，当个随身带的离线小工具就好。里面有些技能要联网，比如查维基百科，真的在意隐私就让它保持飞行模式。

其他值得试的：

• gpt-oss 20b：OpenAI 的开放权重模型，Apache 2.0，16GB 内存就能装下，带思考能力。
• Qwen 3.5 / 3.6：尺寸选择最全，从不到 1b 到 100 多 b 都有，编程能力不错。

六、社区破解版

第四篇说过，审查有一部分训练进了模型本身。不过开源模型既然到了你手上，社区自然有人动手术。Hugging Face 上有不少所谓的 abliterated（消融）或者 uncensored 版本，包括千问这些大陆模型。原理大致是找到模型内部负责“拒绝回答”的那个方向，把它抹掉，不用重新训练。

我也玩过，确实挺好玩的，以前闭口不谈的问题它开口了。加上本地运行，第四篇说的两个问题：数据被转发，话不能说，算是都绕开了。

但只能当玩具，别当正经开发工具：

• 去掉的是拒绝，不是偏见。它现在敢回答了，但脑子里的内容还是当初那批数据和调教留下的。它说的话不代表就是真的，何况它连“不知道”都不会说了，第二篇的幻觉问题只会更重。
• 安全护栏也一起没了。手术不分青红皂白，所有拒绝都被削弱，所以它给出的危险建议你得自己判断。
• 质量没人担保。这些是个人改的，效果参差，可能有的话题还是不答。来路也不明，下载前看清发布者。

七、所以值不值

我的结论很简单：本地模型是隐私小工具，不是 Claude 的替代品。

能跑得动顶级开源模型的硬件，价格加电费够你订阅顶级闭源模型好多年，而且你得到的还不是最好的那个。我觉得不值得，这笔账放到后面算账那篇细算。

所以我的用法是两条腿：

• 正经干活：Claude、ChatGPT，按第七篇把开关关好。
• 没网、或者实在不想发出去的东西：本地 Gemma 4。

你的电脑要是 16GB 以上，不花一分钱，今晚就能试试。下载一个 E4B，把网断了跟它聊两句，那种“这东西就在我电脑里”的感觉，还是挺奇妙的。

下一篇

下一篇回到实用路线：AI 到底能帮你干什么，又有哪些事千万别交给它。