ForeSpider不为人知的一面

本文简述了关于前嗅ForeSpider爬虫中一些不为人知的知识点,包括高级功能,运行设置以及隐藏在模板配置中的一些神奇又强大的功能。 一、运行设置 运行设置中所有设置均是全局的设置。不单单对应一个频道。 1. 采集速度 采集速度是指爬虫爬取网页的速度,一般在购买代理IP之后才会使用到,但是如果网站防爬不强,也可以更改线程数目,以达到快速采集的目的。 ①线程数目:线程数目越大,采集速度越快。 ②采集
相关文章
相关标签/搜索