把 AI 用明白（二）：它是怎么“想”的

上一篇讲了 AI 是怎么一路走过来的，里面有几个词我是一句话带过的：猜下一个词、注意力、训练。这篇把它们掰开揉碎了讲。

老规矩，没有公式。我的目标不是让你能自己造一个模型，而是让你用的时候心里有数：它为什么会这样回答，为什么会那样翻车，哪些毛病是能绕开的，哪些是娘胎里带的。后面讲怎么选、怎么问、怎么省钱，全都建立在这篇上。

一、它看到的不是字，是 token

先打破一个直觉：你打给它的那句话，它看到的不是一个个字，而是一串编号。

模型手里有一张大词表，几万到几十万个条目，每个条目叫一个 token。常见的英文单词往往自己就是一个 token，生僻的词会被拆成几块；中文常用字大多一个字一个 token，生僻字可能拆得更碎。至于这张表是怎么定出来的，有一篇经典论文，大意是从海量文字里统计出最常一起出现的片段，把它们合并成一个条目。

这事听着很底层，但跟你直接相关，有三个地方：

第一，钱是按 token 算的。不管是 API 的价格，还是订阅版那个“额度用完了”，计量单位都是 token。后面算账那篇会反复用到这个词。

第二，它对“字”这个层面是半瞎的。早些年有个著名的翻车现场：问模型 strawberry 里有几个 r，它一本正经地告诉你两个。原因就在这儿，在它眼里这个词可能是两三块拼起来的编号，它压根没“看见”一个个字母。现在的模型在这类题上好多了，但你让它数字数、押韵、拆字谜的时候，还是值得多留个心眼。

第三，它的“长度”跟你的“长度”不是一回事。你说“帮我写 500 字”，它对字数其实没有很精确的感觉，写出来四百多或者六百多都正常。真要卡字数，写完自己数一遍。

二、一个词一个词往外蹦

上一篇说过，模型是靠“猜下一个词”练出来的。用的时候也是这样：它不是想好一整段话再说出来，而是每次只决定下一个 token，接上去，再决定下一个，一直循环到它觉得该停了为止。

你看到回答是一个字一个字蹦出来的，不是为了装酷，它真的就是这么生成的。

更准确地说，每一步它给出的不是一个词，而是一张概率表：下一个词是“的”的可能性 30%，是“了”的可能性 20%，等等。然后从这张表里抽一个。抽的时候带点随机，这就是为什么同一个问题问两遍，答案会不一样。这不是 bug，是故意的；要是每次都只挑最可能的那个词，写出来的东西会很死板，还容易陷进车轱辘话的死循环里。

这也解释了一个很多人没意识到的事：它没有“打草稿再修改”这个环节（后面讲的思考模式算是个补丁）。前面说出去的话，后面只能顺着圆。所以它有时候会在回答开头先下个结论，然后在后面强行给这个结论找理由，越说越离谱。这跟有些人吵架的样子挺像的。

三、注意力：它怎么知道“她”是谁

看这句话：小明把最后一个苹果给了小红，因为她饿了。

“她”是谁？你一秒钟就知道是小红。但对机器来说，这得把“她”跟前面的每个词都比一比，才能发现它跟“小红”关系最大，跟“苹果”没什么关系。

这就是上一篇那篇 Transformer 论文里说的注意力：处理每个词的时候，都回头把整段话扫一遍，给每个词打个“跟我有多相关”的分，然后重点参考分高的那些。而且它不是只扫一遍，而是很多层、很多个角度同时扫：有的角度管语法，有的管指代，有的管语气，具体哪个管什么，其实连做模型的人都说不太清。

说人话就是：它能看到你给它的全部内容，并且自己判断哪些和当前这句最有关。这是它比以前的模型强的根本原因，也是为什么你把材料直接贴给它，比让它凭记忆回答靠谱得多。

四、训练：先读遍互联网，再学做人

一个模型从无到有，大致分两步。

第一步：预训练

把能找到的文字全拿来，网页、书、论文、代码，数量以万亿个 token 计，让模型反复练习猜下一个词。猜错了，就把模型内部的一大堆数字（叫参数，可以想象成几千亿个小旋钮）往“能猜对”的方向拧一点点。这样拧上几个月，烧掉的电费够一个小城市用一阵子。

2020 年 OpenAI 的一篇论文把一件事算得很清楚：模型越大、数据越多、算力越足，猜得就越准，而且这个关系相当有规律，提前就能大致算出来。这就是“大力出奇迹”的理论依据，也是后来各家疯狂囤显卡的原因：钱砸下去，效果基本是可以预期的。

预训练完的模型很博学，但不好用。你问它“法国的首都是哪里”，它可能接着往下写“德国的首都是哪里？意大利的首都是哪里？”，因为在它读过的文字里，这种问题经常出现在一张考卷上。它只会续写，不会回答。

第二步：调教

所以还得再教它“做人”：怎么当一个有问必答的助手，什么话不该说，不知道的时候怎么办。

最经典的做法是 OpenAI 在 2022 年论文里写的：先请人写一批示范回答让模型照着学，再让模型对同一个问题写好几个回答，请人排个好坏，用这些排名去继续拧旋钮。ChatGPT 就是这么调出来的。Anthropic 则提出了另一套思路，叫“宪法 AI”：写一份成文的原则，让模型对照着原则自己给自己挑刺、自己改，减少对人工打分的依赖。

两步里，知识主要是第一步学到的，性格和规矩主要是第二步学到的。不同家的模型脾气差别很大，有的话多有的话少，有的爱拍马屁有的爱抬杠，大多是第二步的锅。

训练完，它就定型了

这点特别重要：训练一结束，旋钮就焊死了。你跟它聊天，它不会因此变聪明，也不会记住你教它的东西（至少不是靠改旋钮记住的，这个下一节讲）。

由此有个直接的后果，叫知识截止日期：它只知道训练数据收集截止那天之前的事。你问它昨天发生了什么，它要么老实说不知道，要么开始脑补。现在很多产品会帮它联网搜索，这时候它是现查现看，跟靠记忆回答是两回事，这个区别后面会反复提。

五、上下文：它的记性到底有多长

既然旋钮焊死了，那它在一场对话里怎么记得你前面说过什么？

答案有点反直觉：它根本不记得。每次你发一条新消息，程序都会把整段对话从头到尾重新喂给它一遍，它再从头读一遍，接着往下写。

这个“一次能读多少”的上限，就叫上下文窗口，也是按 token 算的。现在主流的模型从几十万到上百万 token 不等，换算一下，大概是一本到几本长篇小说的量。听着很大，但有几个坑：

• 对话越长越贵越慢。每轮都要重读全部历史，聊到后面，每发一句话的成本都在涨。订阅版额度掉得飞快，往往就是因为一个对话框聊了几百轮。
• 超出窗口的部分就真没了。有的产品会悄悄把最早的内容删掉或者压缩成摘要，于是你会发现它突然“忘了”你开头交代的事。
• 中间的内容容易被忽略。有研究专门测过，叫“迷失在中间”：关键信息放在开头或结尾，模型找得到；埋在一大坨材料的正中间，它就容易看漏。现在的模型改善了不少，但要紧的事放在开头或结尾说，依然是个好习惯。

那各家产品宣传的“记忆”功能又是什么？说穿了是个外挂：程序把它觉得重要的东西记在一个小本本上，下次开新对话时，悄悄把这个本本塞进上下文开头。旋钮还是那些旋钮，只是每次开场前先给它看一眼小抄。

明白了这一点，有两个实用结论：换话题就开新对话，别在一个对话框里聊到天荒地老；重要的背景每次都交代清楚，别指望它“应该记得”。第七篇讲隐私的时候还会回到这个小本本上：它记了你什么，存在哪，怎么删。

六、它为什么会胡说

业内管这个叫幻觉，就是一本正经地编出不存在的书名、论文、法条、API 函数，语气还特别笃定。

上一篇说过根子在哪：它学的是“什么话听起来对”，而不是一张事实表。再加上这一篇讲的几点，就更清楚了：

• 它每一步都在从概率表里抽下一个词。对于冷门的事，概率表本来就很平，抽到哪个都像那么回事。
• 它没有“回头检查”的环节，开头编了个书名，后面只能顺着把作者、出版年份一起编圆。
• 旋钮里的知识是压缩过的，像人对一本多年前读过的书的印象：大意记得，细节靠补。

还有一个原因更扎心。OpenAI 2025 年有篇论文专门讨论这事，结论大意是：训练和考评的方式在奖励蒙答案。就像考试做选择题，不会也要蒙一个，因为空着肯定零分，蒙了还有四分之一的机会。模型在无数场这样的“考试”里被练成了一个学渣式的应试高手：不会就蒙，而且蒙得特别自信。

所以怎么办？几个能立刻用上的办法：

• 给材料，别考记性。把原文贴给它，让它基于原文回答。第三节说了，它“看”东西比“想”东西靠谱得多。
• 要出处，并且真的去点。开了联网搜索的话让它给链接，然后自己点开看一眼，它偶尔会给一个真链接配一段假总结。
• 明确告诉它可以说不知道。这句话真的有用。
• 人名、数字、日期、引文、法条，一律自己核实。这几类是重灾区。

说句公道话，这几年幻觉已经少了很多，顶级模型在常见问题上已经相当靠谱。但“少了很多”不是“没有”，而它最要命的地方在于：对的时候和错的时候，语气一模一样。

七、“思考模式”是在干嘛

现在各家都有一个“深度思考”或者“扩展思考”的开关，打开之后它会先憋一会儿，有时候还能看到一大段“思考过程”，然后才给答案。

原理其实不神秘。2022 年谷歌的研究者发现了一个很朴素的现象，写成了一篇论文：让模型在给答案之前先一步一步把推理过程写出来，数学题、逻辑题的正确率会明显上去。道理也好懂，既然它只能一个词一个词往外蹦、不能回头改，那就先让它在草稿纸上蹦一遍，把中间步骤摊开，最后的答案就有了依据。

后来各家干脆把这个做成了专门训练的能力：模型被练得会自己打草稿、自己检查、发现不对再换条路。第二节说它“没有打草稿的环节”，思考模式就是给它补上了这个环节。

代价也很直接：草稿也是 token，更慢，也更贵。所以不是所有事都值得开：

• 值得开：数学、写代码、逻辑推理、需要权衡很多条件的决策、长文档的仔细分析。
• 没必要：翻译、润色、闲聊、查个简单的事实、按格式改写。开了也就是让你多等几十秒。

还有一点要留个心眼：你看到的“思考过程”不一定完全等于它内部真实的计算过程，有时候是整理过的版本。把它当成参考，别当成证据。

八、一张表收个尾

你会发现，最右边一列的大部分建议，都不需要你懂任何原理也能照做。但懂了原理，你就知道这些不是玄学，是有原因的，碰到新情况也能自己推出该怎么办。

下一篇

原理到这里就够用了。下一篇先兑现上一篇许下的承诺：OpenAI、Anthropic、谷歌、xAI 这四家的恩怨情仇番外，瓜都切好了。吃完瓜再回来讲正事：模型到底该怎么选。