使用scrapy爬取域名的whois信息

最近收到个需求:查询几百个域名的whois信息,如域名注册时间,到期时间,注册商,域名状态等.若是手动去一个个查询,效率低,而最近恰好在看scrapy,故用它来爬取相关信息. 首先是想尝试去爬阿里云的whois信息,但尝试失败,须要验证码.(先放一边,有空再看).而站长之家也能够查询,并且没验证码,便选择用站长之家来爬取. 要点 1.理解xpath.在爬去相关内容的时候,要用到 2.理解items

>>阅读原文<<