爬虫学习笔记

爬虫学习笔记 一、介绍 1、概念 2、爬虫的内容 3、通行证Robots.txt 4、类别 5、限制 6、常用爬虫方案 以下总结参考公众号：狗熊会 一、介绍 1、概念 2、爬虫的内容 （1）爬到的数据可能是： 表格 文本 图片+文本（二手车信息、京东网商品信息） （2）哪些不可以被爬： （3）eg:搜索引擎（baidu、google、bing） 百度是一个爬虫 百度爬不到新浪微博内部的新闻，也爬不

>>阅读原文<<