bert模型相关(二)

模型微调 模型用了bert的中文预训练模型,直接在runclassify.py上做的修改 修改后的模型示意图: 1. 去除segment层 因为直接采用了字符作文输入,不再需要segment层。 2. 去掉了[CLS] 和[SEP] 因为考虑到在预测的时候可能在句中出现[CLS]和[SEP]的label,但是这种标记不属于标点符号。 3. 替换bert分词器 对于作文中可能出现的英文单词还要考虑子
相关文章
相关标签/搜索