Python爬虫学习日志(2)

Python爬虫学习日志(2) 1.笔记 视频课程 各种爬虫的适用范围 Robots 协议 http://www.jd.com/robots.txt http://…/robots.txt 网站的根目录 #注释,代表所有,/代表根目录 User-agent: Disallow:/ 类人行为可不参考 2.重点 网络爬虫,“盗”亦有道!
相关文章
相关标签/搜索