transformer 中 tokenizer.tokenize() 和 tokenizer.encoder()

tokenizer.tokenize() ： 使用 tokenize() 函数对文本进行 tokenization以后，返回的分词的 token 词web tokenizer.encoder()： encode() 函数对 文本 进行 tokenization 并将 token 用相应的 token id 表示svg

>>阅读原文<<