PHP爬虫遇到incapsula

最近爬取一个国外的网站,一开始就各种不顺。。。。。。 “Request unsuccessful”,这个请求没有成功......;我注意到返回的这个HTML的头文件中有一个<meta>属性中出现了robots的字样 以前没有见过这个属性,因此觉得问题的突破口可能就是这个,上网百度之后发现,NAME=ROBOTS和content=“noidex,nofollow”这两个attribute就是用来屏蔽
相关文章
相关标签/搜索