高级架构师实战：如何用最小的代价完成爬虫需求

一  缘起 在我工作的多家公司，有众多的领域，如房产，电商，广告等领域。尽管业务相差很大，但都涉及到爬虫领域。开发爬虫项目多了后，自然而然的会面对一个问题—— 这些开发的爬虫项目有通用性吗？ 有没有可能花费较小的代价完成一个新的爬虫需求？ 在维护运营过程中，是否能够工具化，构建基于配置化的分布式爬虫应用？ 这就是是我们今天要讨论的话题。 二  项目需求 立项之初，我们从使用的脚度试着提几个需求。

>>阅读原文<<