一个脚本搞定文件合并去重，大数据处理，能够合并几个G以上的文件

问题： 先讲下需求，有若干个文本文件（txt或者csv文件等），每行表明一条数据，如今但愿能合并成 1 个文本文件，且须要去除重复行。python   分析： 一贯奉行简单原则，如无必要，毫不复杂。vim 若是数据量不大，那么以下两条命令就能够搞定bash 合并：python2.7 cat a.txt >> new.txt cat b.txt >> new.txt …… 去重：.net cat n

>>阅读原文<<