python爬虫爬取新浪新闻的评论数以及部分评论

首先应该去找到评论数所对应的网页元素： 可以大致猜测，这里是用JavaScript·去计算评论数量的。 刷新页面，去观测页面的js部分，有没有对应的链接，仔细查看： 找到之后，点击Preview，看到内部结构： 可以看出count部分，total代表了参与人数，show字段代表了评论数 就可以判断这就是需要的链接。也可以看出这是一种json数据。点击header，复制链接URL 最后正则表达式部分

>>阅读原文<<