12.10 抽取式摘要论文阅读 HIBERT: Document Level Pre-training of Hierarchical Bidirectional Transformers for D

摘要 我们提出了Hiebert（作为来自变压器的分层双向编码器表示的缩写），用于文档编码和使用未标记数据对其进行预训练的方法 先预训练摘要模型的复杂的部分，（the hierarchical encoder），然后，我们学习从预先训练的编码器初始化我们的模型来对句子进行分类。 无监督的模型 Model Hibbert在培训过程中的架构。Senti是上述文件中的一句话，总共有4个句子。在编码期间掩蔽

>>阅读原文<<