Bert理论浅析

Bert理论浅析 大名鼎鼎的Bert其实就是在Transform的基础上利用Transform的encode部分实现的。 Bert的具体实现这里就不讲了,可以去看bert的论文和李宏毅老师的课程,讲的挺清楚的。 下面主要来解释几个我阅读过程中的问题: 1、bert是怎么训练的? bert的pre-train其实有两个部分组成。 第一种: bert是一个无监督的模型,利用的是一个类似完形填空的直觉实
相关文章
相关标签/搜索