贝叶斯网络与 Markov 随机场

图结构压缩联合分布的依赖

概率图模型用顶点表示随机变量，用边和局部因子表达联合分布的结构。图中没有某条边并不表示变量边缘独立，而表示在特定图语义和条件集下的独立约束。参数决定依赖强弱，图结构决定哪些依赖路径可能存在；两者缺一不可。

给定同一联合分布，可能有多个图表示。稠密图可以少声明独立而仍表示该分布，稀疏图则提出更多可检验或建模假设。数据中观察到相关也不能唯一确定图方向；有限样本、潜在变量和选择机制会让多个结构难以区分。

贝叶斯网络按父节点条件概率分解

贝叶斯网络使用有向无环图。对按拓扑序排列的变量 $X_1,\ldots,X_d$，每个变量只以父节点集合 $\operatorname{pa}(i)$ 为条件，联合分布写成

每个条件概率表或条件密度对给定父节点取值都应归一化，因此整个乘积自动归一化。无父节点的根使用边缘分布。局部 Markov 性说：给定一个节点的父节点，该节点与其非后代中的其他变量条件独立。由图还能推出更多全局独立，需要使用 d-separation。

d-separation 检查的是整条路径是否活跃

判断变量集合 $A$ 与 $B$ 在给定 $C$ 后是否由图保证条件独立，要检查两者间每条无向意义上的路径。路径上的内部节点分为碰撞点和非碰撞点。若路径局部形如 $U\to M\leftarrow V$，$M$ 是碰撞点；链 $U\to M\to V$ 和分叉 $U\leftarrow M\to V$ 中的 $M$ 都是非碰撞点。

给定集合 $C$ 后，一条路径活跃当且仅当：所有非碰撞点都不在 $C$ 中，并且每个碰撞点本身或其某个后代在 $C$ 中。若所有路径都被阻断，则 $A$ 与 $B$ 被 d 分离，图所表示的每个分布都满足 $A\perp B\mid C$。若存在活跃路径，只能说图不保证独立；特殊参数仍可能使数值依赖恰好抵消。

链 $A\to B\to C$ 与分叉 $A\leftarrow B\to C$ 都在未条件化时传递关联，给定 $B$ 后阻断。碰撞结构 $A\to B\leftarrow C$ 在未观察 $B$ 及其后代时阻断；观察碰撞点或其后代反而打开路径，这产生“解释消除”或选择偏差。

方向不自动等于因果方向

有向边首先是联合分布的条件分解与独立语义。把 $X\to Y$ 解释为干预 $X$ 会改变 $Y$，还需要结构因果模型、无遗漏混杂、选择机制和干预稳定性等额外假设。只用观察分布学习出的方向不能自动支持政策干预。

两个有向无环图若有相同骨架和相同无屏蔽碰撞结构，就属于同一 Markov 等价类，表达相同的 d-separation 独立集合。链 $A\to B\to C$、反向链 $A\leftarrow B\leftarrow C$ 和分叉 $A\leftarrow B\to C$ 都表达 $A\perp C\mid B$，仅靠满足该独立关系的观察分布通常无法区分方向；碰撞图 $A\to B\leftarrow C$ 则有不同独立结构。

无向图用势函数而非条件概率相乘

Markov 随机场使用无向图 $G=(V,E)$。对一组团或局部因子 $C$，联合分布写成

离散情形对所有配置求和，连续情形改为积分。势函数 $\psi_C\ge0$ 衡量配置兼容性，不必各自归一，也不是条件概率。配分函数 $Z$ 才把全局乘积归一化；它通常依赖全部参数，计算可能是训练与推断瓶颈。

势函数表示不唯一：把一个因子乘常数、另一个除以同一常数不会改变分布；某些低阶因子也可吸收到高阶团势中。因此势值大小不能跨任意参数化直接解释为概率。常把能量定义为 $E(x)=-\sum_C\log\psi_C(x_C)$，于是 $p(x)\propto e^{-E(x)}$。

无向图分离给出全局 Markov 性

在无向图中，若集合 $S$ 截断了从 $A$ 到 $B$ 的每条路径，则全局 Markov 性声明 $X_A\perp X_B\mid X_S$。局部形式说给定一个节点的所有邻居后，它与其余非邻居条件独立；成对形式说不相邻节点在给定其他所有节点后独立。

对严格正的分布，这些常见 Markov 性与按图的团势分解具有良好等价关系；允许零概率时，需要更谨慎，图独立与因子化之间的某些反向结论可能失效。建模时应明确是从因子化推出独立，还是从正值分布的 Markov 性推回因子化。

链状无向图 $A-B-C$ 中，$B$ 分离 $A$ 与 $C$，所以 $A\perp C\mid B$；未给定 $B$ 时通常相关。无向图没有碰撞点打开规则，条件化只是在路径图上移除或固定分离集合，因此 d-separation 不能原样套用。

Markov 毯概括局部预测所需边界

在贝叶斯网络中，一个节点的 Markov 毯由它的父节点、子节点以及子节点的其他父节点组成。给定这组变量后，该节点与网络中其余变量条件独立。共同子节点的其他父节点必须纳入，是因为观察子节点会打开碰撞路径。Markov 毯可帮助构造局部条件分布和特征候选，但它来自当前图的统计假设，不自动等于最小因果调整集。

在无向图中，节点的 Markov 毯就是其邻居；给定全部邻居后，该节点与其他非邻居条件独立。若边势跨多个变量，更一般的因子图表述要收集与该变量共享因子的所有变量。毯的大小影响局部条件计算，却不能单独决定全局配分函数是否容易求出；稀疏局部邻接仍可能形成大环和高树宽。

有向与无向表示不能只靠擦掉箭头互换

把有向图直接去掉箭头会丢失碰撞结构。例如 $A\to B\leftarrow C$ 表达 $A\perp C$，擦成 $A-B-C$ 却表达 $A\perp C\mid B$。为把有向分解用于某些无向推断，会先连接每个节点的共同父节点，再去掉方向，称为道德化；这保留所需因子邻接，却可能增加边并丢失有向独立信息。

反向把无向边任意定向还必须避免有向环，并不保证得到相同条件独立集合。某些图可有等价有向或无向表示，另一些不能。选择表示应依据局部条件模型是否自然、归一化是否可处理以及所需独立结构，而不是视觉偏好。

因子图显式展示变量与因子的邻接

因子图是二部图，一侧是变量节点，另一侧是因子节点；若因子依赖某变量，就连接二者。联合函数写为 $f(x)=\prod_a f_a(x_a)$。贝叶斯网络的每个条件概率 $p(x_i\mid x_{\operatorname{pa}(i)})$ 可成为一个因子，无向模型的每个势函数也可成为因子。因子图保留因子作用域，适合变量消元和消息传递。

条件独立是模型承诺，不是有限样本事实

图缺边声明的是分布级条件独立。有限样本检验有误差，高维条件集会使估计困难；没有拒绝依赖不等于证明独立。结构可由领域知识指定、由受约束评分学习或由条件独立检验搜索，但不同方法都受潜变量、测量误差和样本选择影响。

参数的特殊取值可能产生比图更多的独立，称为不忠实情形；一般图推断只保证图结构蕴含的独立，不依赖这些偶然抵消。模型审阅应区分结构假设、参数估计、推断查询和因果解释四层。

练习

关系与资源

• 联合分布与边缘分布 提供联合因子化和归一化基础。
• 条件概率 支持条件独立和父节点分解。
• 图、连通性与匹配 提供路径、分离和团结构语言。
• 变量消元、消息传递与精确推断 在因子化上计算边缘与条件概率。
• EM 算法与变分推断 处理含潜变量和难解后验的模型。
• 无监督学习与概率图模型综合复习 汇总结构、推断和可识别性。