爬虫的配置、启动和终止

爬虫的配置、启动和终止 Spider Spider是爬虫启动的入口。在启动爬虫之前，我们需要使用一个PageProcessor创建一个Spider对象，然后使用run()进行启动。 同时Spider的其他组件（Downloader、Scheduler、Pipeline）都可以通过set方法来进行设置。 ​​​​​​​爬虫配置Site Site.me()可以对爬虫进行一些配置配置，包括编码、抓取间隔

>>阅读原文<<