bert原理和实验

这篇介绍以下最近大热的BERT，它在11个NLP任务中刷新了成绩，效果确实惊人。不过在介绍论文之前我还是想说这项工作不是很好复现，如果没有足够的资源就不要想了 。我觉得很可能未来的利用价值在于直接使用作者公布的预训练好的模型。 回顾 现在有很多利用预训练的语言表征来完成下游NLP任务的研究，作者把它们概括为两类feature-based和fine-tuning: 分类 代表 task-specif

>>阅读原文<<