关于“消重”问题的解决，从管道到并行

消重，简单说就是把一个序列中重复的元素消除掉，输出的结果中每个元素都是唯一的。比如： [1,2,1,3,2] 经过消重后，结果是： [1,2,3] 看上去这个问题好像非常简单无聊，但是实际工作中却经常能遇到，比如对web访问日志的来源ip ，或者访问页面进行消重统计，等等。 今天在一个Python讨论群里面，有个人提了一个问题： 有上亿甚至几十亿个的数字，如何得到消重后的列表？ 正好，就着这个实际

>>阅读原文<<