推特Twitter爬虫总结

  最近因为工作需要爬虫了一段时间推特 Twitter网站是用AJAX异步加载的,用request请求到json文件的数据url也是拒绝的 所以只能慢慢模拟浏览器下滑慢慢加载json文件咯(当然我没有用类似于selenium一类的库,效率太低) ok,现在的功能大概如下: 1、用于访问和下载某人的全部推特:如爬取特朗普注册以来发的所有推特信息 2、以及大范围的推特爬取,某个地区,某种语言或包含某个
相关文章
相关标签/搜索