模拟某个浏览器抓取数据,要与浏览器中的header里的属性保持一致
抓取数据思路:html
访问url连接(发送请求) -> 获取网页版的html(获取页面) -> 对html进行解析(解析页面)数据库
-> 解析后获取相应的数据并写入新的文件(抽取并存储内容)浏览器
分享学习计划:
1.学习 Python 包并实现基本的爬虫过程并发
2.了解非结构化数据的存储scrapy
3.学习scrapy,搭建工程化爬虫分布式
4.学习数据库知识,应对大规模数据存储与提取学习
5.掌握各类技巧,应对特殊网站的反爬措施网站
6.分布式爬虫,实现大规模并发采集,提高效率url
仅分享思路,若要阅览完整Demo实例的话,可参照如下连接:.net