序列训练技巧：BPTT、截断与梯度裁剪

一句话定义

沿时间反向传播（BPTT）把 RNN 按时间展开后执行标准反向传播；截断 BPTT（TBPTT）只回传最近 k 步以控制显存与噪声；梯度裁剪在梯度范数超阈时等比缩小，专治 kp-023 留下的爆炸问题——三者是序列训练的工程三件套。

直觉

BPTT 像「把整部剧倒着复盘追责」；TBPTT 像「只复盘最近 k 集」——追责范围有限但成本可控；梯度裁剪像「追责书字数超限就按比例压缩」，责任方向保留、体量封顶。

为什么重要

序列任务的显存随长度线性膨胀、梯度爆炸让训练随机 NaN，这两件事决定了「RNN 训不训得成」往往取决于本节的两个数字（k 与裁剪阈值）而非模型本身。它也是 kp-027 调试方法论的进阶素材：损失曲线「周期性尖刺」的元凶常就是爆炸梯度与截断边界的相互作用。

前置知识

• kp-022（时间展开图）、kp-023（爆炸的来源）、kp-007（反向传播通则）。

核心概念

• BPTT：整段序列展开后一次性反向，梯度无偏但显存 O(T)。
• 截断长度 k（TBPTT）：每次只回传最近 k 步；k=20~50 是常见经验带。
• hidden state 携带（carry hidden state）：TBPTT 段与段之间前向隐状态连续、反向梯度断开。
• 梯度范数裁剪（grad clipping by norm）：‖g‖>θ 时 g ← g·θ/‖g‖，方向不变只缩长度。
• 按值裁剪（clipping by value）：逐元素截断，仅作历史方案，会扭曲方向，现已少用。
• 分离状态（detach）：Python 侧实现「前向连、反向断」的接口动作（kp-004 的 detach 用武之地）。

原理与机制

BPTT 的本质：kp-022 的展开图上跑 kp-007 的通用反向传播——每个时间步都是一层「共享权重层」，各步梯度求和。完整 BPTT 的代价双高：显存需保存全部 T 步隐状态与中间量（O(T·d)），计算同样 O(T)；且 T 大时梯度方差大、单批信号弱。TBPTT 的改进是把长序列切成若干 k 步窗口：每个窗口内部做完整反向，窗口之间只把隐状态（前向量）传下去、把梯度（反向图）丢弃。数学后果是梯度被「人为截尾」：超过 k 步的依赖完全收不到学习信号——k 是「学习视野」的显式预算，小 k 快但短视，大 k 慢但长视；由于语言的长程依赖大多衰减较快，k=20~50 常够用（kp-023 的门控保证的是「梯度能」而非「必须」传满全程）。实现要点：隐状态进入新窗口前 .detach()，断开旧图；最后一个不满 k 步的尾窗正常处理。梯度裁剪解决另一半问题：爆炸源于连乘因子 >1（kp-023），但更新前的裁剪让参数步长有硬上界——g ← g·min(1, θ/‖g‖)。关键性质是保方向只缩模长：损失面上的下降方向不被扭曲，只把「这一步太大」的风险封顶；θ 常取 1~5（对全参数总范数），应观察训练初期的典型 ‖g‖ 分布来定。三者组合的工作流：TBPTT(k=35) + 梯度裁剪(θ=5) + LSTM（kp-023）+ 正交初始化（kp-012），是字符级语言模型二十年的默认配方。

公式或模型

BPTT 的梯度求和与两个技巧的公式：

BPTT：  ∂L/∂θ = Σ_{t=1..T} ∂L_t/∂θ        （每步共享同一 θ，梯度求和）
TBPTT： ∂L/∂θ ≈ Σ_{w=1..⌈T/k⌉} Σ_{t∈窗口w, 最近k步} ∂L_t/∂θ   （窗口外截为 0）
裁  剪： if ‖g‖ > θ:  g ← ( θ / ‖g‖ ) · g   （保方向、缩模长）

变量说明：L_t 为 t 步损失（通常对整个窗口求平均）；‖g‖ 为全参数梯度向量的 L2 范数；θ 为阈值。对照 kp-007：这里 δ 的递推多了一条「时间轴求和」。

图示

长序列 T=9, 截断 k=3：

前向：  h0 ►[t1][t2][t3] ► [t4][t5][t6] ► [t7][t8][t9] ► …
            │  前向状态连续传递（detach 后传值不传图）
反向：      ◄── ∇ ──┘   ◄── ∇ ──┘     ◄── ∇ ──┘
            窗口1        窗口2          窗口3     （各窗口独立反向）
爆炸治理：  ‖∇‖=120 > θ=5  →  ∇ ← ∇×(5/120)   （方向不变，步长封顶）

直观类比

截断长度 k 像「远视眼的焦距」：调得近跑得快但看不清远处伏笔，调得远全局把握但费眼；裁剪像「限速带」——不改变你去哪个方向，只保证不超速撞墙。

实例或案例

把 kp-024 的 CharLM 接上完整训练工程（差异代码）：

h = None
for i, (x, y) in enumerate(seq_loader):        # 每个 batch 是 k=35 步窗口
    if h is not None:
        h = tuple(e.detach() for e in h)        # ★断开旧图（LSTM 返回元组）
    logits, h = model(x, h)
    loss = nn.functional.cross_entropy(
        logits.reshape(-1, vocab), y.reshape(-1))
    opt.zero_grad()
    loss.backward()
    torch.nn.utils.clip_grad_norm_(model.parameters(), 5.0)   # ★范数裁剪
    opt.step()

观察实验：关掉裁剪后训练损失曲线出现随机尖刺甚至 NaN（爆炸复现）；k 从 5 加到 50，验证困惑度先降后平（学习视野的边际收益），训练时间线性上升——k 的选型就是在曲线上找拐点。kp-027 的「尖刺型损失曲线」诊断在这里找到病根。

常见误区

• 「裁剪改变了优化方向」：按范数缩放保方向，只会防止过冲，不是错方向时的救命稻草（方向错该查数据与学习率，kp-027）。
• 忘记 detach 隐状态：TBPTT 退化成整段 BPTT，显存随 epoch 泄漏直至 OOM。
• 「k 越大效果一定越好」：k 增大梯度噪声变小但每 epoch 更新次数同步减少，且长窗信号弱；找拐点而非拉满。
• 裁剪阈值照抄别人：θ 应该用自己模型初期 ‖g‖ 的典型分布校准（常取中位数的 2~5 倍）。

与其他知识点的关系

本节是 kp-007 在时间维度的工程化、kp-023 爆炸治理的执行端、kp-004 detach 语义的实战落点；训练尖刺与 kp-027 的曲线诊断互为表里；大规模序列并行训练中的类似权衡（context parallel 等）属于大模型站点范畴，此处一句话指路。

自测题

1. 写出梯度范数裁剪公式，说明它为什么「保方向」。

答案要点：g←g·θ/‖g‖ 仅缩放标量，各分量比例不变，下降方向不被扭曲。

1. TBPTT 的 k 物理含义是什么？k 过小的症状？

答案要点：反向传播的学习视野（能收到梯度的最长依赖距离）；过小时长程依赖学不到，文本生成逐句连贯、跨句失忆。

1. 为什么窗口之间前向隐状态要 detach 而不能直接传？

答案要点：直接传会把整条历史都挂进当前计算图，显存随序列无限增长，TBPTT 退化为全 BPTT。

延伸阅读

• Werbos 1990《Backpropagation Through Time》（BPTT 概念源头）。
• Pascanu、Mikolov、Bengio ICML 2013（裁剪阈值与爆炸的系统实验）。