前嗅ForeSpider脚本教程-连接抽取:自定义连接写脚本

今天,小编给你们带来的教程为:前嗅ForeSpider脚本教程-连接抽取中,自定义连接写脚本的实战教程。具体内容以下:app

场景:当采集的连接不存在于任何位置,或者想要采集自定义的连接。 示例:天猫商品评论的连接。ide

商品评论的连接不在源码中,只能本身拼接评论连接。点击评论翻页,观察翻页规律。url

取其中某一连接地址在网页中查看请求返回信息。删除个别不一致的请求参数,观察结果是否变化。可获得最简连接地址。htm

https://rate.tmall.com/list_detail_rate.htm?itemId=566879444630&spuId=950725258&sellerId=134363478&order=3¤tPage=2&append=0&content=1&tagId=&posi=&picture=&groupId=&ua=&callback=教程

脚本实例:get

for(int i=0;i<10;i++){//取10页评论源码

url u;it

u.title = "第+i+”页评论";请求

u.urlname = "https://rate.tmall.com/list_detail_rate.htm?itemId=566879444630&spuId=950725258&sellerId=134363478&order=3¤tPage=”+i+”&append=0&content=1&tagId=&posi=&picture=&groupId=&ua=&callback="; //第i页的评论连接地址call

u.entryid = CHANN.id;

u.tmplid = 2;

RESULT.AddLink(u);

}

相关文章
相关标签/搜索