消息传递神经网络：局部聚合、置换对称与表达边界

一层消息传递包含四个职责

设节点 $v$ 在第 $\ell$ 层的状态为 $h_v^{(\ell)}$，有向边 $u\to v$ 的特征为 $e_{uv}$，图级条件为 $g$。一层通用消息传递可写成

$M$ 决定一条边上传什么，AGG 把数量和顺序可变的入边消息合成固定维向量，$U$ 把旧状态与邻域信息更新为新状态。即使原图无向，计算时也常把每条无向边展开成两个方向消息。两个方向可以共享边标量，但若边特征是相对位移，反向通常要变号。

初始状态 $h_v^{(0)}$ 来自节点特征。没有节点特征时可使用同一个常量、度或有依据的类型特征；直接使用任意节点 ID 会破坏重编号对称，并使模型记忆训练图。自环可通过把 $v$ 放入自己的邻域实现，也可由更新函数显式保留旧状态，两种做法影响归一化和参数含义，不能重复加入后不说明。

读出决定输出粒度

节点任务直接从 $h_v^{(L)}$ 预测每个节点输出。边任务可由 $(h_u^{(L)},h_v^{(L)},e_{uv})$ 预测关系，并为无向边设计端点交换对称。图级任务需要读出

其中 $R$ 应对节点顺序不变，常用 sum、mean、max 或可学习但保持集合对称的聚合。sum 保留总量并对图大小敏感，mean 表示平均却可能混淆重复相同节点，max 只保留逐维极端。读出器不能恢复在前面层中已经丢失的结构信息。

原始消息传递论文资源把多类分子图模型组织为消息阶段和读出阶段；这支持一般框架来源，不意味着论文中的具体实验结论可推广到任意图。几何深度学习教材资源进一步提供置换对称、局部性和尺度分离视角。

完整数值前向：逐边、逐点、整图

这个算例没有非线性和可学习参数，只展示数据流。实际 $M,U$ 可是共享 MLP、门控单元或满足物理结构的算子。复杂函数仍必须逐边共享；若为每个节点位置使用独立权重，模型会依赖训练编号，无法自然处理新图。

为什么邻居聚合必须忽略排列

一个节点的邻居是集合或多集合，没有规范顺序。sum、mean 和 max 对输入次序不变，因此重排边表不会改变 $\bar m_v$。若 $M,U$ 在所有节点和边共享参数，则对节点重编号矩阵 $P$，整层满足

即节点输出置换等变。再接不变图读出 $R(PH)=R(H)$，图级输出就不变。排序聚合若按任意节点 ID 排序再拼接，会把临时编号带入结果；按真实可观测标量排序也需处理并列和数值不连续。

不变聚合也有信息损失。mean 无法区分多集合 $\{1\}$ 与 $\{1,1\}$，max 无法记录重复次数，普通 sum 可能让不同数值组合相撞。先用足够表达的消息映射再求和可区分更多多集合，但在有限维、有限精度和有限参数下仍非无损编码。

GCN 是一种度归一化线性消息

常见图卷积层先加自环 $\widetilde A=A+I$，令 $\widetilde D$ 为其度矩阵，再计算

矩阵形式等价于邻居发送经度归一化和共享线性变换的消息。对称归一化抑制高连接度节点的绝对累加尺度，自环保留当前节点信息，$W$ 混合特征通道。它不是所有图上的唯一正确卷积：有向边、带单位物理流、异配关系或多种边类型可能需要不同消息和归一化。

归一化必须与实际邻接一致。若数据预处理已经加自环，层内再加一次会重复计权；孤立节点在加自环后仍有自身路径，但没有邻居证据。节点度在训练和部署图分布变化时也会改变系数，需做按度切片评价。

邻居采样与注意力改变聚合方式

大图中枚举所有高阶邻居成本高。GraphSAGE 风格方法可为每层随机采样固定数量邻居，再对样本聚合。均匀样本均值在单层线性条件下可估计全邻居均值，但后续非线性和多层采样使完整网络输出一般不再是无偏全邻域输出。采样数、无放回规则、随机种子和高度节点覆盖都属于复现合同。

图注意力为每条入边计算分数，再在同一接收节点的邻居间 softmax：

共享评分和集合内归一化保持邻居次序不变。注意力允许内容依赖权重，却不自动给出因果解释；权重还受候选邻居、温度、特征尺度和其他邻居共同影响。删除高权边后的预测变化、反事实边和多种归因方法更能检验其作用。

层数限定感受野

同步局部消息传递一层只能使用一跳邻居，$L$ 层节点状态至多依赖 $L$ 跳邻域。图级读出在最后汇总所有节点，但每个节点表示仍只编码其有限半径信息。若更新中加入全局节点、跨图注意力或预计算全局特征，感受野结论会改变，应明确它们不是普通局部边。

过平滑与过挤压是不同失败

过平滑指反复平均和变换后，同一连通区域内节点表示越来越相似，节点区分度下降。可按层记录节点方差、随机节点对距离、类内类间距离、Laplacian 能量和冻结分类性能。残差连接、保留初始特征、控制深度或改变传播算子可能缓解，但不能保证消除。

过挤压指大量远端信息必须穿过少数边并压进固定维状态。树状图的 $k$ 跳节点数可快速增长，通往中心的狭窄割边却容量有限，远端扰动对输出的敏感度可能很小。它不要求节点表示彼此相同，因此与过平滑不能用同一个指标替代。增加维数、重连图、层次表示或全局通道可能改善信息瓶颈，也可能引入新边偏差和计算代价。

深度不足、过平滑和过挤压可同时出现。诊断应按距离注入可控信号，测量不同跳数信息能否被读出，再观察表示相似度和瓶颈边敏感性，而不是仅凭训练损失猜原因。

局部消息传递有表达边界

若两个节点初始特征相同，且每一层接收到的带标签邻居多集合也相同，标准共享消息传递会给它们相同表示。这与颜色细化或一维 Weisfeiler–Lehman 检验的直觉相关：普通 MPNN 通常不能超越该类局部多集合区分能力。具体结论依赖聚合是否足够可分、数值精度和特征，不能把它写成所有图网络的单一定理。

初始 ID 可以人为打破对称，却会破坏重编号不变，并可能无法迁移到新图。随机特征可能以概率方式区分节点，但带来种子依赖，且不等于学到稳定结构。模型选择要由任务所需不变性与结构分辨率决定。

边特征、方向与批处理边界

关系类型和单位应进入消息函数。分子键类型可选择不同参数，交通边的长度米和时间秒应分别标准化，相对坐标向量还要满足旋转或反射变换要求。把方向边强制对称会丢失因果流向；把无向边只存一个方向则会漏掉接收节点。时间边不得使用预测截止之后的信息。

多图 batch 通常构造成不相连并图：节点特征拼接，边索引加偏移，batch 向量记录图归属，读出按归属分别聚合。若偏移错误或全局注意力未屏蔽，样本间会传消息并造成泄漏。邻居采样也必须限制在各图边表内。批内归一化按全部节点统计时，大图权重更大；若要图等权，需要不同归约。

计算成本通常与边数和隐藏维相关，多层采样的邻居数会呈乘法扩张。报告应包含节点边数量分布、最大度、层数、采样扇出、批中总节点边和峰值内存，不能只给“每图耗时”而忽略图规模。

三个常见误区

第一，“层数足够多就能解决所有全局图任务”。局部表达限制、过平滑和过挤压不会因盲目加深自动消失。

第二，“注意力权重就是边的重要性真相”。权重是当前候选集合中的归一化系数，需要干预和任务评价才能支持更强解释。

第三，“节点 ID 能帮助模型识别结构，所以应直接加入”。任意 ID 会破坏重编号对称并鼓励记忆；只有真实有语义的标识才可在明确泛化范围内使用。

练习

关系与资源

• 图与图信号 提供邻接、节点边特征与置换合同。
• 感知机与多层感知机 提供共享消息和更新函数的参数化基础。
• 图算法 支持邻域遍历、稀疏边操作和复杂度核算。
• 不变性与等变性 将置换对称推广到群作用。
• 几何深度学习综合复习 汇总表达界限和深层失败。