采用Google预训bert实现中文NER任务

本博文介绍用Google pre-training的bert(Bidirectional Encoder Representational from Transformers)作中文NER(Name Entity Recognition)python

第一步: git clone https://github.com/google-research/bert.git ,存放在 bert文件中git

第二步: 下载BERT-Base Chinese模型, 存放在checkpoint文件中github

相关文件结构以下:json

BERT
|____ bert
|____NERdata |____ BERT_NER.py |____ checkpoint |____ output

第三步:api

run:google


预测结果存放在result_dir目录中
以上全部参数都是基于bert官方默认参数python BERT_NER.py \ --task_name="NER" \ --do_train=True \ --do_eval=True \ --do_predict=True --data_dir=NERdata \ --vocab_file=checkpoint/vocab.txt \ --bert_config_file=checkpoint/bert_config.json \ --init_checkpoint=checkpoint/bert_model.ckpt \ --max_seq_length=128 \ --train_batch_size=32 \ --learning_rate=2e-5 \ --num_train_epochs=3.0 \ --output_dir=./output/result_dir/

参考:code

相关文章
相关标签/搜索