专题路线
沿梯度流、卷积、循环、注意力和残差结构理解现代神经网络。
已经理解反向传播，希望系统比较主要神经网络架构的学习者。
感知机、激活函数、多层网络、计算图与反向传播。
循环网络、注意力、Transformer、序列训练与长序列计算。
比较初始化、批归一化和残差连接改善深层训练的不同机制。
写出多头自注意力的形状变化，并解释位置编码为何必要。
难度 3/5
把三种结构先验与架构配对：A. 局部共享卷积核；B. 按时间递推的隐藏状态；C. 任意位置间直接计算内容相关权重。再为二维局部纹理识别、严格在线逐步预测、长距离依赖检索各选一种首选架构并说明理由。
关注每种架构原生限制的信息流：局部邻域、顺序状态，或全局两两交互。
A 对应 CNN，B 对应 RNN，C 对应注意力。二维局部纹理优先 CNN，因为空间局部性与权重共享匹配任务；严格在线逐步预测优先 RNN，因为状态可随新输入递推；长距离依赖检索优先注意力，因为远距离位置可直接交互。
结果核验：逐项检查信息路径：CNN 单层只访问局部感受野，RNN 的第 t 步只需上一状态与当前输入，注意力分数矩阵包含每个查询到所有键的条目；三种描述一一对应。
难度 4/5
批量 B=2、序列长度 T=4、模型维度 d_model=8，使用 h=2 个注意力头，因此每头 d_k=4。写出分头后的 Q、K、V、注意力分数、拼接输出以及残差相加前后的张量形状。
每个头把最后一维 8 拆成 2×4；每个查询位置都要与同一头的 4 个键位置计算分数。
分头后的 Q、K、V 形状均为 (B,h,T,d_k)=(2,2,4,4)。QKᵀ 的分数形状为 (2,2,4,4)，乘 V 后每头输出仍为 (2,2,4,4)。拼接两头得到 (2,4,8)，输出投影不改变该形状，因此可与输入残差相加，结果仍为 (2,4,8)。
结果核验：检查最后维度 h×d_k=2×4=8；分数矩阵的末两维分别是查询位置数 T=4 和键位置数 T=4；残差两侧形状完全相同。
