论文 · 资源记录
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
以掩码语言建模和句间目标预训练双向 Transformer 表示。
Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova2019Proceedings of NAACL-HLT 2019链接核验于 2026-07-14
为什么重要
用于核对掩码预测的条件建模方式、预训练—微调接口和原始实验范围。