论文 · 资源记录

BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

以掩码语言建模和句间目标预训练双向 Transformer 表示。

Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova2019Proceedings of NAACL-HLT 2019链接核验于 2026-07-14

为什么重要

用于核对掩码预测的条件建模方式、预训练—微调接口和原始实验范围。

阅读前提

官方入口