Pyspider中给爬虫伪造随机请求头

Pyspider 中采用了 tornado 库来作 http 请求，在请求过程当中能够添加各类参数，例如请求连接超时时间，请求传输数据超时时间，请求头等等，可是根据pyspider的原始框架，给爬虫添加参数只能经过 crawl_config这个Python字典来完成(以下所示)，框架代码将这个字典中的参数转换成 task 数据，进行http请求。这个参数的缺点是不方便给每一次请求作随机请求头。ph

>>阅读原文<<