201806 数据处理 SQL、python、shell 哪家强...速度PK（上篇）

最近在工作中，进行大量的数据处理，使用的是mysql5.7.22，发现当数据量级达到几十万之后，SQL执行速度明显变慢。尤其是当多个表join时，于是就尝试用python pandas进行数据处理，发现运行速度明显比SQL运行速度快。于是，决定比较一下千万数据量级之下，SQL、pandas、shell在数据处理上的优劣势。 配置：ubuntu系统64位，8G内存，intel i7处理器 软件环境：

>>阅读原文<<