爬取Ajax动态加载网页--以美团为例

在实训期间我们需要爬取美团、携程等网页关于某旅游景区的评论，但是我们发现我无法通过以前的方法爬取他们，加载相应的URL都无法加载评论，所以我就想这是不是通过其他方法加载网页。网上查了一下，发现这种加载评论的方式是Ajax动态加载网页，每次我点下一页它的URL都不会动，但它的评论还是加载出来啦。 那么怎么爬取这种网页，其实原理很简单，就可以简单理解为在不想刷新整个页面，所以单纯的将某一部分来进行刷新

>>阅读原文<<