一分钟搞懂的算法之BPE算法

昨天总结实验数据分析的时候发现一个机器翻译的其中的一个脚本，其中用到的算法就是BPE算法，刚开始感受很高大上的，由于老是听到带上算法帽子的东西就以为666。等本身好好研究研究，网上各类找资料才知道，其实还挺好理解的，因此真的应了那句老话，眼见为实呀。算法   总说 BPE，（byte pair encoder）字节对编码，也能够叫作digram coding双字母组合编码，主要目的是为了数据压缩，

>>阅读原文<<