A05 / advanced
深度学习优化与工程方法
深度学习优化与工程方法围绕第一编 深度优化、第二编 训练稳定性、第三编 训练工程与综合复习建立连续章节顺序。
- 结构
- 3 编 · 6 章
- 适合读者
- 适合完成相关本科基础课程、需要进入高级理论与计算方法的读者。
BEFORE READING
先修与记号
本册对象
研究随机优化、归一化、正则化、调参与可靠训练工程。
符号约定
- 本册在首次使用时定义深度学习优化与工程方法专用符号，并区分标量、向量、算子与单位。
- 同一符号出现多种约定时明确命名空间、假设和适用章节。
CONTENTS
完整目录
第一编 深度优化
第一编 深度优化组织随机梯度、动量与自适应方法、学习率调度与二阶近似，形成连续的学习单元。
第二编 训练稳定性
第二编 训练稳定性组织归一化方法与尺度控制、正则化、数据增强与早停，形成连续的学习单元。
第三编 训练工程与综合复习
第三编 训练工程与综合复习组织混合精度、分布式训练与检查点、调试、复现实验与工程方法综合复习，形成连续的学习单元。
综合练习
- 每章安排定义辨析、推导计算和结果核验练习。
- 本册末章安排跨 Part 综合题，并保留可复算的解题检查点。