A04 / undergraduate

神经网络与反向传播

神经网络与反向传播围绕第一编 网络构件、第二编 计算图与梯度、第三编 训练基础与综合复习建立连续章节顺序。

结构
3 编 · 6
适合读者
适合已具备基础代数与函数知识、希望完成本科层次系统学习的读者。
开始本册

BEFORE READING

先修与记号

本册对象

从感知机和激活函数建立多层网络、计算图与反向模式自动微分。

先修教材

符号约定

  • 本册在首次使用时定义神经网络与反向传播专用符号,并区分标量、向量、算子与单位。
  • 同一符号出现多种约定时明确命名空间、假设和适用章节。

CONTENTS

完整目录

PART 01

第一编 网络构件

第一编 网络构件组织感知机与多层感知器、激活函数与非线性表示,形成连续的学习单元。

  1. 01

    感知机与多层感知器

    本章研究感知机与多层感知器。内容依次处理感知机判别函数与线性可分性、隐藏层、仿射变换与非线性组合、网络宽度、决策边界与 XOR 反例。

    阅读本章
  2. 02

    激活函数与非线性表示

    本章研究激活函数与非线性表示。内容依次处理Sigmoid、tanh 与饱和梯度、ReLU 族的分段线性结构、激活尺度、初始化与可训练性。

    阅读本章
PART 02

第二编 计算图与梯度

第二编 计算图与梯度组织计算图、链式法则与局部导数、反向传播与反向模式自动微分,形成连续的学习单元。

  1. 03

    计算图、链式法则与局部导数

    把复合函数表示为有向无环计算图,沿拓扑序计算前向值,并用局部 Jacobian 和链式法则组织导数。

    阅读本章
  2. 04

    反向传播与反向模式自动微分

    本章研究反向传播与反向模式自动微分。内容依次处理计算图、局部导数与链式法则、反向模式的伴随量与梯度累积、有限差分核验、不可导点与数值稳定性。

    阅读本章
PART 03

第三编 训练基础与综合复习

第三编 训练基础与综合复习组织参数初始化与梯度传播、神经网络与反向传播综合复习,形成连续的学习单元。

  1. 05

    参数初始化与梯度传播

    用方差传播分析初始化尺度,诊断梯度消失与爆炸,并比较激活、归一化和残差路径对信号传递的影响。

    阅读本章
  2. 06

    神经网络与反向传播综合复习

    串联网络表示、激活函数、计算图、反向传播和初始化,以梯度检查和小数据过拟合测试验证实现。

    阅读本章

综合练习

  • 每章安排定义辨析、推导计算和结果核验练习。
  • 本册末章安排跨 Part 综合题,并保留可复算的解题检查点。

相关教材