专题路线
沿梯度流、卷积、循环、注意力和残差结构理解现代神经网络。
路线按阶段连续组织正文；章节原有教材位置和书内顺序保持不变。
解释初始化、归一化与残差连接如何影响梯度传播。
本章研究感知机与多层感知器。内容依次处理感知机判别函数与线性可分性、隐藏层、仿射变换与非线性组合、网络宽度、决策边界与 XOR 反例。
未开始本章研究激活函数与非线性表示。内容依次处理Sigmoid、tanh 与饱和梯度、ReLU 族的分段线性结构、激活尺度、初始化与可训练性。
未开始计算图、链式法则与局部导数：把复合函数表示为有向无环图，沿拓扑序计算前向值，并用局部 Jacobian 和链式法则组织导数。
未开始本章研究反向传播与反向模式自动微分。内容依次处理计算图、局部导数与链式法则、反向模式的伴随量与梯度累积、有限差分核验、不可导点与数值稳定性。
未开始比较卷积、循环和注意力对结构先验的编码方式。
参数初始化与梯度传播用方差传播分析初始化尺度，诊断梯度消失与爆炸，并比较激活、归一化和残差路径对信号传递的影响。
未开始归一化方法与尺度控制：比较批、层与组归一化的统计轴、训练推理差异和尺度不变性，分析小批量与分布漂移下的限制。
未开始离散卷积、感受野与参数共享：从离散互相关、步幅、填充与膨胀计算输出形状和感受野，解释局部连接、平移等变与参数共享。
未开始卷积网络架构与残差连接：比较卷积块、下采样、归一化和残差连接的结构作用，分析宽度、深度、分辨率与计算预算。
未开始拆解 Transformer 的自注意力、位置和前馈子层。
循环网络、门控单元与状态传播：用递归隐藏状态表示序列，分析时间反向传播、梯度路径，并由 LSTM 与 GRU 门控控制记忆和遗忘。
未开始本章研究缩放点积注意力与掩码。内容依次处理Query、Key、Value 的线性投影、缩放点积、掩码与逐行 Softmax、多头组合、复杂度与权重解释边界。
未开始多头注意力与位置表示：把 query、key、value 投影到多个子空间并行计算注意力，比较绝对、相对、旋转位置表示及长度外推。
未开始编码器、解码器与 Transformer 架构：组装多头注意力、前馈网络、残差与归一化，比较编码器、因果解码器和编码器—解码器掩码及训练目标。
未开始完成指定教材章节后，用自己的推导回答；检查点不替代正文证明。
比较初始化、批归一化和残差连接改善深层训练的不同机制。
写出多头自注意力的形状变化，并解释位置编码为何必要。
先独立作答，再展开提示与分步解答；每题附可重复的结果核验。
难度 3/5
把三种结构先验与架构配对：A. 局部共享卷积核；B. 按时间递推的隐藏状态；C. 任意位置间直接计算内容相关权重。再为二维局部纹理识别、严格在线逐步预测、长距离依赖检索各选一种首选架构并说明理由。
关注每种架构原生限制的信息流：局部邻域、顺序状态，或全局两两交互。
A 对应 CNN，B 对应 RNN，C 对应注意力。二维局部纹理优先 CNN，因为空间局部性与权重共享匹配任务；严格在线逐步预测优先 RNN，因为状态可随新输入递推；长距离依赖检索优先注意力，因为远距离位置可直接交互。
结果核验：逐项检查信息路径：CNN 单层只访问局部感受野，RNN 的第 t 步只需上一状态与当前输入，注意力分数矩阵包含每个查询到所有键的条目；三种描述一一对应。
难度 4/5
批量 B=2、序列长度 T=4、模型维度 d_model=8，使用 h=2 个注意力头，因此每头 d_k=4。写出分头后的 Q、K、V、注意力分数、拼接输出以及残差相加前后的张量形状。
每个头把最后一维 8 拆成 2×4；每个查询位置都要与同一头的 4 个键位置计算分数。
分头后的 Q、K、V 形状均为 (B,h,T,d_k)=(2,2,4,4)。QKᵀ 的分数形状为 (2,2,4,4)，乘 V 后每头输出仍为 (2,2,4,4)。拼接两头得到 (2,4,8)，输出投影不改变该形状，因此可与输入残差相加，结果仍为 (2,4,8)。
结果核验：检查最后维度 h×d_k=2×4=8；分数矩阵的末两维分别是查询位置数 T=4 和键位置数 T=4；残差两侧形状完全相同。