python 爬虫知识点 (http 基础）

1   dns     可以把网址解析成ip地址； 2   robots.txt     爬虫权限：规定爬虫可以爬取的内容，但是并不是懂遵守的，大型搜索引擎公司都是遵守的 3 HTTP和HTTPS HTTP协议（HyperText Transfer Protocol，超文本传输协议）：是一种发布和接收 HTML页面的方法。 HTTPS（Hypertext Transfer Protocol ove

>>阅读原文<<