课程 · 资源记录

EE 276: Information Theory

系统介绍熵、相对熵、互信息，以及数据表示、压缩、通信与推断中的信息度量。

作者：Tsachy Weissman年份：2026出版信息：Stanford University元数据：完整链接核验于 2026-07-14

为什么重要

用于核对离散熵、条件熵、KL 散度和互信息的定义、恒等式、单位与零值条件。

M11 · 第 2 章凸集、凸函数与次梯度
支持的主张：Stanford EE276 的熵、相对熵与 log-sum 不等式为本章提供可核验的凸性实例：负熵在概率单纯形内部为凸函数，KL 散度对相应变量具有凸性，而 Jensen 不等式把函数曲率转成期望界。支撑点落在边界时还必须检查零概率约定与定义域，这正说明凸性陈述不能只看二阶公式而忽略函数的扩展值域。
M11 · 第 4 章约束优化、KKT 条件与对偶性
支持的主张：Stanford EE276 在本章用于支撑约束与对偶在概率模型中的具体作用：概率质量函数必须位于非负且归一化的单纯形上，固定期望条件可通过 Lagrange 乘子写入目标，最大熵解由驻点条件产生指数形式。这个实例同时展示了强对偶依赖凸性和可行性条件，KKT 方程不能脱离约束资格被当作无条件充分结论。
M11 · 第 5 章熵、互信息与散度
支持的主张：Stanford EE 276 的官方课程页面与材料覆盖熵、相对熵、互信息、数据压缩和通信中的基本定理。核对公式时应保持课程所用对数底一致，并同时检查离散字母表、支撑和连续密度等前提。
M11 · 第 6 章最优化与信息论综合复习
支持的主张：Stanford EE 276 官方课程材料覆盖熵、条件熵、相对熵、互信息与信道容量，可用于复核信息量定义、对数单位和零值条件。