资源与论文
机器学习问题、数据与评估
A00神经网络与反向传播
A04深度学习优化与工程方法
A05卷积神经网络与计算机视觉
A06- 查看原文
CS231n: Deep Learning for Computer Vision
覆盖视觉分类、卷积网络、残差架构、检测、分割、视觉 Transformer、训练工程和视觉数据评估。
课程 · Stanford University · 2025
- 查看原文
A ConvNet for the 2020s
左侧使用瓶颈卷积，右侧使用深度卷积和通道扩展。图中数值表示各模块的通道数。
论文与标准 · IEEE/CVF Conference on Computer Vision and Pattern Recognition 2022 · 2022
- 查看原文
- 查看原文
An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale
图像分块、位置嵌入与 Transformer 编码器的分类架构。
论文与标准 · International Conference on Learning Representations 2021 · 2021
- 查看原文
Attention Is All You Need
提出以自注意力为核心、无需循环结构的 Transformer 架构。
论文与标准 · Advances in Neural Information Processing Systems 30 · 2017
- 查看原文
Training data-efficient image transformers & distillation through attention
分类标记和蒸馏标记共同经过编码器，两个输出头分别学习真实标签和教师预测。
论文与标准 · Proceedings of the 38th International Conference on Machine Learning, PMLR 139:10347-10357 · 2021
序列模型、注意力与 Transformer
A07- 查看原文
CS224N: Natural Language Processing with Deep Learning
斯坦福大学自然语言处理课程的公开课件与作业，涵盖词向量、注意力和 Transformer。
课程 · Stanford University · 2025
- 查看原文
- 查看原文
FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness
利用分块计算减少 GPU 存储访问，分析精确注意力的计算流程与 IO 复杂度。
论文与标准 · Tri Dao, Daniel Y. Fu · 2022
- 查看原文
LoRA: Low-Rank Adaptation of Large Language Models
冻结预训练权重，用低秩矩阵学习参数更新，降低模型微调的参数与存储开销。
论文与标准 · Edward J. Hu, Yelong Shen · 2021
表示学习与自监督学习
A08- 查看原文
A Simple Framework for Contrastive Learning of Visual Representations
提出 SimCLR，对数据增强、投影头、批内负样本和温度化对比目标进行系统实验。
论文与标准 · Proceedings of the 37th International Conference on Machine Learning · 2020
- 查看原文
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
以掩码语言建模和句间目标预训练双向 Transformer 表示。
论文与标准 · Proceedings of NAACL-HLT 2019 · 2019
- 查看原文
Learning Transferable Visual Models From Natural Language Supervision
用大规模图像—文本配对数据和双塔对比目标学习可迁移视觉表示。
论文与标准 · Proceedings of the 38th International Conference on Machine Learning · 2021
生成模型
A09- 查看原文
Auto-Encoding Variational Bayes
提出以重参数化估计器训练连续潜变量生成模型的变分自编码框架。
论文与标准 · Diederik P. Kingma, Max Welling · 2013
- 查看原文
Generative Adversarial Nets
提出生成器与判别器之间的极小极大训练框架。
论文与标准 · Advances in Neural Information Processing Systems 27 · 2014
- 查看原文
Denoising Diffusion Probabilistic Models
以参数化反向 Markov 链和去噪目标训练扩散概率模型。
论文与标准 · Advances in Neural Information Processing Systems 33 · 2020
- 查看原文
High-Resolution Image Synthesis with Latent Diffusion Models
图像编码、潜变量扩散与条件生成的模型和训练方法。
论文与标准 · IEEE/CVF Conference on Computer Vision and Pattern Recognition 2022 · 2022
- 查看原文
Scalable Diffusion Models with Transformers
带噪潜变量经分块后输入 Transformer；时间和类别嵌入控制各层的缩放、偏移与残差权重。
论文与标准 · IEEE/CVF International Conference on Computer Vision 2023 · 2023
强化学习
A10- 查看原文
Reinforcement Learning: An Introduction, Second Edition
系统介绍多臂赌博机、Markov 决策过程、价值估计、控制、函数逼近与策略梯度。
教材 · MIT Press · 2018
图神经网络与几何深度学习
A11- 查看原文
Geometric Deep Learning: Grids, Groups, Graphs, Geodesics, and Gauges
以域、对称群、尺度分离和局部性统一卷积、图网络、Transformer 与几何学习。
教材 · Michael M. Bronstein, Joan Bruna · 2021