人生苦短，用Python爬取美团网所有城市数据，朋友出价5000都不卖

最近在Python爬虫的群里面看到有挺多人对于美团网上面的数据非常的感兴趣，而且还某些人给出的价格也是非常的可观，爬取美团的数据然后出价5000？？？？当时就懵逼了，当我爬取所有的数据发现原来5000感觉都少了！ 爬虫思路 目前有许多爬虫框架，我粗略的使用了以下思路实现增量爬取。 requests（selenium）爬取数据； 判断爬取的数据是否数据库中已存在； 保存在dataframe对象中；

>>阅读原文<<