如何用最小的代价完成爬虫需求

本文转自：https://news.cnblogs.com/n/566333/ 　　一  缘起 　　在我工作的多家公司，有众多的领域，如房产，电商，广告等领域。尽管业务相差很大，但都涉及到爬虫领域。开发爬虫项目多了后，自然而然的会面对一个问题—— l 这些开发的爬虫项目有通用性吗？ l 有没有可能花费较小的代价完成一个新的爬虫需求？ l 在维护运营过程中，是否能够工具化，构建基于配置化的分布式爬虫

>>阅读原文<<