java生成tfrecord文件

最近在做一个ner识别模型,用算法标注了一亿出头的数据,刚刚开始用python生成tfrecord文件,这一步非常的费时间,一亿条数据每一千万生成一个文件差不多要两个半小时的时间才能生成完成,左思右想想找一种快的方法,前几天看到美团公众号发了一篇文章关于ctr模型,其中有一句话印象深刻用spark生成tfrecord文件,虽然一笔带过,受到启发,既然是jvm系的,java一定可以,然后就查了点资料
相关文章
相关标签/搜索