熟知爬虫

一、爬虫的概念 1.网络爬虫也叫网络蜘蛛，它特指一类自动批量下载网络资源的程序，这是一个比较口语化的定义。 2.更加专业和全面对的定义是：网络爬虫是伪装成客户端与服务端进行数据交互的程序 二、爬虫的应用 数据采集 大数据时代来临，数据就是核心，数据就是生产力，越来越多的企业开始注重收集用户数据，而爬虫技术是收集数据的一种重要手段。 搜索引擎 百度，谷歌等搜索引擎都是基于爬虫技术。 模拟操作 爬虫也

>>阅读原文<<