不用数学，看懂语言模型如何运作
从你提问到 AI 助手回答，中间发生了什么，用简单的话讲清楚。
ChatGPT、Claude 和 Gemini 等助手都建立在语言模型之上。对话背后是一个简单的想法，以巨大的规模反复执行：预测接下来会出现哪一段文字。
文字变成词元
模型不是逐个字母或逐个完整的词来读的。它把文字切成词元，可能是一个短词、词的一部分或一个标点。每个词元都会变成一串模型能够处理的数字。
一个词一个词地预测
在训练阶段，模型阅读海量文本，并调整数十亿个参数，以便猜中下一个词元。回答时也是一样：选出一个可能的词元，接到回答后面，然后重复。整个回答就这样一点一点生成出来。
预训练
模型通过大规模预测文本，学会语言的规律。
微调
对话示例教会它助手的格式：遵循指令，清楚作答。
人类评估
人们比较不同的回答，模型被调整为更倾向于最有帮助、最安全的回答。
上下文窗口
模型只能看到上下文窗口里的内容：当前的对话、上传的文件和指令。窗口之外的东西，在那一刻对模型来说并不存在。
