论文与标准

Attention Is All You Need

提出以自注意力为核心、无需循环结构的 Transformer 架构。

Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser, Illia Polosukhin · 2017 · Advances in Neural Information Processing Systems 30

阅读前提

A07 · 缩放点积注意力与掩码
A04 · 反向传播与反向模式自动微分

教材中的引用位置

A04 · 第 1 章感知机与多层感知器
A04 · 第 2 章激活函数与非线性表示
A04 · 第 4 章反向传播与反向模式自动微分
A06 · 第 5 章视觉 Transformer 与混合架构
A07 · 第 2 章序列损失、教师强制与解码
A07 · 第 3 章缩放点积注意力与掩码
A07 · 第 4 章多头注意力与位置表示
A07 · 第 5 章编码器、解码器与 Transformer 架构
A07 · 第 6 章长序列、效率与 Transformer 综合复习

官方来源

官方页面https://papers.nips.cc/paper/7181-attention-is-all-you-need arXivhttps://arxiv.org/abs/1706.03762