python 爬虫知识点 (http 基础)

1   dns     可以把网址解析成ip地址; 2   robots.txt     爬虫权限:规定爬虫可以爬取的内容,但是并不是懂遵守的,大型搜索引擎公司都是遵守的 3 HTTP和HTTPS HTTP协议(HyperText Transfer Protocol,超文本传输协议):是一种发布和接收 HTML页面的方法。 HTTPS(Hypertext Transfer Protocol ove
相关文章
相关标签/搜索