基于Python+scrapy+redis的分布式爬虫实现框架

        爬虫技术，不管是在学术领域，仍是在工程领域，都扮演者很是重要的角色。相比于其余技术，爬虫技术虽然在实现上比较简单，没有那么多深奥的技术难点，但想要构建一套稳定、高效、自动化的爬虫框架，也并非一件容易的事情。这里笔者打算就我的经验，介绍一种分布式爬虫框架的实现方法和工做原理，来给刚刚入门爬虫的同窗们一点启发和提示。同时也但愿大牛们能发表一些见解。mysql 框架的几个关键技术点： （

>>阅读原文<<