tokenizer.encode（）

tokenizer.encode("说你跑的挺远",add_special_tokenizerns=False) 相当于 seg=tokenizer.tokenize("说你跑的挺远") encoder = tokenizer.convert_tokenizerns_to_ids(seg)  

>>阅读原文<<