今日头条数据抓取

项目源码 https://github.com/a252937166/toutiaocrawler.git 爬虫目标 爬取某一头条号下面所有文章。 爬虫设计思路 爬取方式 动态解析网页方式爬取 之前介绍过使用webdriver的方式爬取网页内容，这样做的话好处非常明显，只需要考虑如何解析网页的element标签就行了，当然弊端也非常明显，就是效率不高。 解析接口方式爬取 没遇到反爬手段逆天的网页，

>>阅读原文<<