scrapy 爬虫踩过的坑（II）

同事写了个爬虫，逻辑上看着没什么问题，可是一直报错：Request url must be str or unicode……

打印了一下url 和url 的类型，确实是 unicode 懵逼……

打印url 时，忽然发现url 的域名和 爬虫设置的 allowed_domains 参数并不相同。

按正常来讲，若是url 不在allowed_domains 范围内，他应该是会被禁止的。可是当用Request 对指定 的url 发送请求时，他居然抛出了这么一个错误……

改了一下allowed domains ，爬虫就正常爬去了……