Scrapy项目之User timeout caused connection failure(异常记录)

Windows 10家庭中文版,Python 3.6.4,Scrapy 1.5.0,html

 

提示:此文存在问题,真正测试, 请勿阅读,shell

 

07-14 14:26更新:cookie

通过两个多小时的测试,发现此问题的缘由是 昨天编写爬虫程序后,给爬虫程序添加了下面的属性:网络

download_timeout = 20dom

此属性的解释:scrapy

The amount of time (in secs) that the downloader will wait before timing out.函数

在获取某网站的子域名的robots.txt文件时,须要的时间远远超过20秒,所以,即使有三次重试的机会,也会最终失败。测试

此值默认为180,由于某网站是国内网站,所以,孤觉得它的文件所有都会下载的很快,不须要180这么大,因而更改成20,谁知道,其下子域名的robots.txt却须要这么久:网站

测试期间更改成30时,情况好了,目前已取消设置此值,已能抓取到须要的数据。spa

但是,为何robots.txt会下载这么慢呢?

 

删除Request中定义的errback进行测试,也能够获取到须要的数据。

那么,在Request中定义errback有什么用呢?

 

如今,再次在项目内、项目外执行下面的命令都不会发生DNSLookupError了(测试过)(但是,上午怎么就发生了呢?):

scrapy shell "http://money.163.com/18/0714/03/DML7R3EO002580S6.html"

 

--------能够忽略后面部分--------

 

昨日写了一个爬虫程序,用来抓取新闻数据,但在抓取某网站数据时发生了错误:超时、重试……开始是超过默认等待180秒的时间,后来本身在爬虫程序中改成了20秒,因此下图显示为20 seconds。

 

彻底不知道怎么回事!上面是使用Scrapy项目内的基于CrawlerRunner编写的程序运行的,看不到更多数据!

尝试将爬虫中的allowed_domains改成下面两种形式(最后会使用第二种)进行测试——觉得和子域名有关系仍然失败。

1 #allowed_domains = ['www.163.com', 'money.163.com', 'mobile.163.com',
2 # 'news.163.com', 'tech.163.com']
3 
4 allowed_domains = ['163.com']

 

后来又在settings.py中关闭了robots.txt协议、开启了Cookies支持:仍然失败。

1 # Obey robots.txt rules
2 ROBOTSTXT_OBEY = False 3 
4 # Disable cookies (enabled by default)
5 COOKIES_ENABLED = True

 

此时,依靠着以前的知识储备是没法解决问题的了!

 

使用scrapy shell对获取超时的网页进行测试,结果获得了twisted.internet.error.DNSLookupError的异常信息:

scrapy shell "http://money.163.com/18/0714/03/DML7R3EO002580S6.html"

 

可是,使用ping命令却能够获得上面失败的子域名的IP地址:

 

twisted做为一个很经常使用的Python库,怎么会发生这样的问题呢!彻底不该该的!

 

求助网络吧!最终找到下面的文章:

How do I catch errors with scrapy so I can do something when I get User Timeout error?

 

最佳答案!中文什么意思:在Request实例中定义errback!请读三遍

 

这么简单?和处理DNSLookupError错误有什么关系呢?为什么定义了回调函数就能够了呢?

没想明白,不行动……

继续搜索,没有更多了……

 

好吧,试试这个方法,更改某网站的爬虫程序以下:

增长了errback = self.errback_163,其中,回调函数errback_163的写法和上面的参考文章中的一致(后来发现其来自Scrapy官文Requests and Responses中)。

1 yield response.follow(item, callback = self.parse_a_new, 2                                   errback = self.errback_163)

 

准备就绪,使用scapy crawl测试最新程序(在将以前修改的配置还原后——遵照robots.txt协议、禁止Cookies、allowed_domains设置为163.com):成功抓取了想要的数据!

 

好了,问题解决了。但是,以前的疑问仍是没有解决~后续再dig吧!~“神奇的”errback!~

本站公众号
   欢迎关注本站公众号,获取更多信息