语言建模与规模规律：从 token 单位到经验外推

tokenization 定义了模型实际预测的变量

自然语言文本必须先映射为有限词表中的整数序列。按字节切分覆盖稳定但序列较长；按字符切分依赖书写系统；按整词切分会产生巨大词表与未登录词；学习得到的子词在词表大小和序列长度之间折中。模型并不直接预测“意义”，而是预测给定 tokenizer 后的下一个 token。

完整 tokenizer 合同包括 Unicode 规范化、大小写、空白与标点处理、词表及合并规则、未知或回退机制，以及 BOS、EOS、padding、分隔符等特殊 ID。修改任何一项都会改变序列和概率空间。训练、验证、部署必须使用完全相同版本；只保存词表而丢失规范化和预切分规则仍不足以复现。

词表变大通常缩短序列，却让每一步候选更多；词表变小延长序列，却使单步预测更细。token 数不是稳定的自然语言单位。同一文档在两种 tokenizer 下可能相差数倍，所以“训练了多少 token”和“每 token 损失”只有在切分规则固定时才能比较。

因果语言建模是逐位置条件似然

给定 token 序列 $w_{1:T}$，因果语言模型写成

训练时把输入右移一位，以真实前缀教师强制预测下一 token，并用因果掩码阻止当前位置读取未来。若把当前目标留在同一可见位置，模型可以复制；若文档打包后不设边界，后一个文档可能条件于前一个文档。是否允许这种跨文档上下文必须由数据协议决定。

对有效计分位置集合 $\mathcal I$，平均负对数似然或交叉熵为

padding 通常不计分；BOS 是否计分、EOS 是否计分、提示 token 是否计分都要写明。按全批有效 token 平均会让长序列权重更大；先按文档平均再跨文档平均则让文档等权，二者不是同一指标。

若测试数据来自分布 $q$，理想期望交叉熵可写为 $H(q)+D_{\mathrm{KL}}(q\Vert p_\theta)$。第一项是数据本身在当前 token 单位下的不确定性，第二项衡量模型失配。有限测试集只给样本估计，并受重复、主题和上下文截断影响。

困惑度是交叉熵的指数

使用自然对数时，困惑度定义为

若使用以二为底的对数，损失单位是 bits/token，困惑度为 $2^{\mathcal L_{2}}$。两种写法数值一致，因为 $\mathcal L_2=\mathcal L_{\mathrm{nat}}/\log2$。困惑度可直观表示几何平均意义上的有效候选数，但不是词表中“实际剩余词数”，也不直接等于生成质量、事实正确率或任务成功率。

跨语种、跨词表或跨规范化方案比较 PPL 尤其危险。字符密度、黏着形态和空格规则都会改变每 token 包含的信息。至少同时报告 tokenizer 版本、词表大小、原始字节数、有效 token 数与计分掩码；共同字节单位也需处理 Unicode 规范化差异。

上下文窗口限制可条件化的信息

模型有最大上下文长度 $K$ 时，超过窗口的早期 token 会被截断、分块或用其他机制压缩。长窗口提供读取远处证据的能力，不保证模型实际使用；位置编码外推、注意力稀释、训练中长样本不足和检索位置偏差都可能使有效上下文远短于名义上限。

评价长上下文应控制答案位置、依赖距离、无关干扰量和文档边界，比较只看局部窗口的基线。把答案原句放入提示只能检验检索与复制，不等于模型内部记忆。若测试目标出现在可见未来或打包边界错误，低损失是泄漏而非长程能力。

生成时每一步从条件分布选择 token。温度会缩放 logit，top-k 与核采样会截断并重新归一化候选，贪心则总取局部最大项。这些规则改变输出分布；同一个基础模型可因采样器不同呈现不同重复率和多样性。报告样本必须保存温度、阈值、随机种子、停止条件和最大长度。键值缓存减少重复计算，但生成仍有逐 token 的串行依赖。

参数、数据和计算是三个尺度

参数量 $N$ 描述可学习数值的数量，但总参数、训练时激活参数和推理时活动参数在稀疏模型中可能不同。数据量 $D$ 常以训练 token 数记录，却不表达去重、质量、语言比例和重复轮数。训练计算量 $C$ 是执行前向与反向运算的代价，受架构、序列长度、稀疏性、批量、精度和硬件实现影响。

对固定稠密架构和训练流程，常用 $C\propto ND$ 作粗略近似；比例常数不是普适物理常数。固定计算预算时，增大模型会减少可处理 token 数，增大数据会限制模型规模或训练步数。只报参数量会把欠训练的大模型误当充分训练，只有 token 数也会忽略每 token 计算和优化状态。

推理成本还与生成长度和上下文长度有关。参数相同的两次请求可能因窗口、batch 和缓存命中产生不同延迟。训练规模研究与部署成本研究应分表报告，不能用训练 FLOP 推出单请求延迟。

经验规模律需要先声明拟合族

在固定数据分布、tokenizer、架构族、优化协议和评价集的受控实验中，损失有时在有限尺度范围近似满足幂律。一个示意模型是

$L_\infty$ 表示该拟合假设下的不可约下限，不能随意设为零。减去候选下限后，取对数可得到近似直线：

下限、幅度和指数高度相关，小规模噪声会显著改变外推。应报告拟合范围、每个规模的训练充分性、随机波动、残差与替代函数，而不是只给一条直线。

更现实的拟合会同时考虑参数受限、数据受限和计算受限，例如

这仍是经验模型，不是从语言本质推导的定律。若数据重复严重，名义 $D$ 与有效新信息不成比例；若大模型没有训练到相应优化状态，参数项与优化误差混在一起；架构、正则化或 tokenizer 改变会形成新的实验族。

怎样拟合而不把经验关系写成定律

首先锁定 tokenizer、数据混合、去重、架构族、优化器、训练终止和测试集；其次选择覆盖足够范围的多个 $N,D,C$ 组合，而不是只比较两个点；再次对每个点记录多个运行或不确定区间，检查是否欠训练；最后在未用于拟合的中间或更大尺度验证预测。

外推距离越远，风险越大。硬件利用率、数值精度、上下文长度、数据耗尽、分布变化和新架构都可能产生拐点。损失的平滑缩放也不保证某项离散能力在固定阈值出现，更不保证真实性、安全性或任务可靠性同比改善。资源中的规模律论文支持其受控实验范围内的经验观察；本章不把其指数当成跨时代、跨数据和跨架构常数。

选择性汇报也会制造规律。若只保留训练成功的规模点、用同一测试集反复调超参数或事后更换下限，拟合残差会过于乐观。应保留失败运行、预先规定剔除条件并报告敏感性分析。

数据质量与污染会改变名义规模含义

重复文档使 token 数增长却不增加等量信息，还会强化记忆；低质量模板、乱码和自动拼接会浪费计算；过强过滤又可能删除方言、少数主题或困难样本，改变目标分布。应记录来源、许可、时间、语言、质量过滤、精确与近重复去重，以及每类数据的 token 比例。合成数据还要追踪生成模型和版本，避免多轮自我复制让错误固化。

污染包括训练与测试的精确重复、近重复、答案模板、翻译版本和同源派生数据。划分应按时间、来源、实体或文档族先形成隔离，再跨集合做去重与相似搜索。只删除完全相同字符串无法发现改写题。对公开基准，应比较可疑重合项剔除前后结果，并把污染不确定性写入结论。

低测试交叉熵可能来自见过文本，不代表泛化；高任务得分也可能来自记住答案格式。反事实版本、更新后的新数据、闭卷与给定证据条件、按发布时间切片都有助于区分。数据审计应与规模拟合一起进行，因为更大的数据抓取通常也增加碰到基准的机会。

三个常见误区

第一，“困惑度可跨 tokenizer 直接比较”。每 token 单位不同会改变平均损失，必须使用共同原始单位和一致规范化。

第二，“参数越多就等于训练计算越多且一定更好”。参数、数据和计算分配相互制约，欠训练、数据质量与架构效率都会改变结果。

第三，“有限区间的幂律是普适定律”。它是受控实验族上的经验拟合，外推会受下限、拐点、数据耗尽和方法变化影响。

练习

关系与资源

• Transformer 架构 提供因果注意力和上下文计算基础。
• 自回归生成模型 提供链式似然、教师强制和串行采样。
• 熵、交叉熵与散度 支持损失、KL 与单位换算。
• 指令适配与偏好优化 从基础语言模型继续训练。
• 大模型智能体综合复习 将基础模型能力放入系统评价。