Tensorflow2.0之理解语言的 Transformer 模型

文章目录 项目介绍 代码实现 一、导入须要的库 二、导入数据集 三、将文本编码成数字形式 3.1 使用 tfds.features.text.Tokenizer() 函数 3.1.1 创建词汇表并统计词汇表中的单词数量 3.1.2 创建编码器 3.1.3 对全部样本进行编码 3.1.3.1 删除过长的样本 3.1.3.2 编码函数 3.1.3.3 将样本打乱、分批 3.2 使用 tf.keras.

>>阅读原文<<