资源与论文
序列模型、注意力与 Transformer
A07- 查看原文
CS224N: Natural Language Processing with Deep Learning
斯坦福大学自然语言处理课程的公开课件与作业，涵盖词向量、注意力和 Transformer。
课程 · Stanford University · 2025
- 查看原文
- 查看原文
FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness
利用分块计算减少 GPU 存储访问，分析精确注意力的计算流程与 IO 复杂度。
论文与标准 · Tri Dao, Daniel Y. Fu · 2022
- 查看原文
LoRA: Low-Rank Adaptation of Large Language Models
冻结预训练权重，用低秩矩阵学习参数更新，降低模型微调的参数与存储开销。
论文与标准 · Edward J. Hu, Yelong Shen · 2021
表示学习与自监督学习
A08- 查看原文
A Simple Framework for Contrastive Learning of Visual Representations
提出 SimCLR，对数据增强、投影头、批内负样本和温度化对比目标进行系统实验。
论文与标准 · Proceedings of the 37th International Conference on Machine Learning · 2020
- 查看原文
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
以掩码语言建模和句间目标预训练双向 Transformer 表示。
论文与标准 · Proceedings of NAACL-HLT 2019 · 2019
- 查看原文
Learning Transferable Visual Models From Natural Language Supervision
用大规模图像—文本配对数据和双塔对比目标学习可迁移视觉表示。
论文与标准 · Proceedings of the 38th International Conference on Machine Learning · 2021
生成模型
A09- 查看原文
Auto-Encoding Variational Bayes
提出以重参数化估计器训练连续潜变量生成模型的变分自编码框架。
论文与标准 · Diederik P. Kingma, Max Welling · 2013
- 查看原文
Generative Adversarial Nets
提出生成器与判别器之间的极小极大训练框架。
论文与标准 · Advances in Neural Information Processing Systems 27 · 2014
- 查看原文
Denoising Diffusion Probabilistic Models
以参数化反向 Markov 链和去噪目标训练扩散概率模型。
论文与标准 · Advances in Neural Information Processing Systems 33 · 2020
- 查看原文
High-Resolution Image Synthesis with Latent Diffusion Models
图像编码、潜变量扩散与条件生成的模型和训练方法。
论文与标准 · IEEE/CVF Conference on Computer Vision and Pattern Recognition 2022 · 2022
- 查看原文
Scalable Diffusion Models with Transformers
带噪潜变量经分块后输入 Transformer；时间和类别嵌入控制各层的缩放、偏移与残差权重。
论文与标准 · IEEE/CVF International Conference on Computer Vision 2023 · 2023
强化学习
A10- 查看原文
Reinforcement Learning: An Introduction, Second Edition
系统介绍多臂赌博机、Markov 决策过程、价值估计、控制、函数逼近与策略梯度。
教材 · MIT Press · 2018
图神经网络与几何深度学习
A11- 查看原文
Geometric Deep Learning: Grids, Groups, Graphs, Geodesics, and Gauges
以域、对称群、尺度分离和局部性统一卷积、图网络、Transformer 与几何学习。
教材 · Michael M. Bronstein, Joan Bruna · 2021
- 查看原文
Graph Attention Networks
邻域注意力系数、多头聚合与图节点表示。
论文与标准 · International Conference on Learning Representations 2018 · 2018
- 查看原文
Neural Message Passing for Quantum Chemistry
把多种分子图模型统一为消息传递神经网络框架。
论文与标准 · Proceedings of the 34th International Conference on Machine Learning · 2017
大语言模型、多模态模型与智能体
A12- 查看原文
Scaling Laws for Neural Language Models
在受控实验中研究语言模型损失随参数量、数据量和训练计算变化的经验幂律。
论文与标准 · Jared Kaplan, Sam McCandlish · 2020
- 查看原文
Training Language Models to Follow Instructions with Human Feedback
以监督示范、偏好比较、奖励模型和强化学习使语言模型更贴近标注者意图。
论文与标准 · Advances in Neural Information Processing Systems 35 · 2022
- 查看原文
Improving language models by retrieving from trillions of tokens
检索片段经过编码后，通过分块交叉注意力参与后续标记的预测。
论文与标准 · arXiv:2112.04426v3 · 2022
- 查看原文
Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
把参数化生成器与可更新的非参数文档索引结合，用检索证据支持知识密集任务。
论文与标准 · Advances in Neural Information Processing Systems 33 · 2020
- 查看原文
ReAct: Synergizing Reasoning and Acting in Language Models
让语言模型交替产生推理轨迹与环境动作，以外部观察更新后续决策。
论文与标准 · International Conference on Learning Representations · 2023
可解释性、不确定性、对齐与安全
A13- 查看原文
A Unified Approach to Interpreting Model Predictions
把多种局部特征归因方法统一为加性解释模型，并提出 SHAP 值。
论文与标准 · Advances in Neural Information Processing Systems 30 · 2017
- 查看原文
On Calibration of Modern Neural Networks
系统测量现代神经网络的置信度失配，并比较后处理校准方法。
论文与标准 · Proceedings of the 34th International Conference on Machine Learning · 2017
- 查看原文
Explaining and Harnessing Adversarial Examples
提出快速梯度符号攻击，并从局部线性响应解释一类对抗脆弱性。
论文与标准 · International Conference on Learning Representations · 2015