M11 / undergraduate

最优化与信息论

最优化与信息论围绕第一编 优化问题与凸性、第二编 优化算法、第三编 信息度量与综合复习建立连续章节顺序。

结构
3 编 · 6
适合读者
适合已具备基础代数与函数知识、希望完成本科层次系统学习的读者。
开始本册

BEFORE READING

先修与记号

本册对象

统一凸优化、一阶方法、对偶性、熵和信息度量。

先修教材

符号约定

  • 本册在首次使用时定义最优化与信息论专用符号,并区分标量、向量、算子与单位。
  • 同一符号出现多种约定时明确命名空间、假设和适用章节。

CONTENTS

完整目录

PART 01

第一编 优化问题与凸性

第一编 优化问题与凸性组织优化模型、可行域与最优性、凸集、凸函数与次梯度,形成连续的学习单元。

  1. 01

    优化模型、可行域与最优性

    从决策变量、目标与约束建立优化模型,区分可行、局部与全局最优,并使用梯度、方向导数和法向条件表达一阶必要条件。

    阅读本章
  2. 02

    凸集、凸函数与次梯度

    用线段判据、Jensen 不等式和一阶支撑不等式识别凸性,把梯度推广为次梯度,并说明凸问题中局部最优与全局最优的关系。

    阅读本章
PART 02

第二编 优化算法

第二编 优化算法组织一阶优化与梯度下降、约束优化、KKT 条件与对偶性,形成连续的学习单元。

  1. 03

    一阶优化与梯度下降

    本章研究一阶优化与梯度下降。内容依次处理最速下降方向与步长、Lipschitz 梯度下的收敛率、动量、自适应方法与失效案例。

    阅读本章
  2. 04

    约束优化、KKT 条件与对偶性

    由 Lagrange 函数构造对偶下界,在明确约束资格后使用 KKT 条件,并通过原始可行性、对偶可行性、驻点与互补松弛核对候选解。

    阅读本章
PART 03

第三编 信息度量与综合复习

第三编 信息度量与综合复习组织熵、互信息与散度、最优化与信息论综合复习,形成连续的学习单元。

  1. 05

    熵、互信息与散度

    从自信息与期望定义熵,推导联合熵、条件熵和互信息关系,使用 KL 散度刻画分布差异并明确对数底与绝对连续条件。

    阅读本章
  2. 06

    最优化与信息论综合复习

    以概率分布上的约束优化贯通凸性、对偶、梯度方法、熵和散度,比较几何最优性与信息度量在推导中的不同角色。

    阅读本章

综合练习

  • 每章安排定义辨析、推导计算和结果核验练习。
  • 本册末章安排跨 Part 综合题,并保留可复算的解题检查点。

相关教材