数据采集----网络爬虫（一）

网络爬虫（Web Crawler/Spider） 数据采集的主要方式 按照必定规则，自动抓取万维网信息的程序或者脚本 部分或者所有抽取抓取到的信息，使数据进一步结构化linux 合法性–Robots协议 深度与广度优先 * 静态和动态网页爬虫 静态网页：爬虫逻辑比较简单 动态网页：网页读取过程须要额外的加载过程 web 泛用和主爬虫 网络爬虫的基本架构 爬取模块 URL批量获取数据，模拟http请

>>阅读原文<<