Jmeter(三十五)_精确实现网页爬虫

Jmeter实现了一个网站文章的爬虫，能够把全部文章分类保存到本地文件中，并以文章标题命名

它原理就是对网页提交一个请求，而后把返回的全部值提取出来，利用ForEach控制器去实现遍历。下面来介绍一下如何操做。

首先咱们须要对网页提交一个请求。咱们对一个站点发起一个请求，观察一下返回值能够发现中间有不少中文title，这些title都是href标签，他们做为超连接能够跳转到正文

 

咱们用xpath提取器获取这些href的title，而且用-1提取所有

 

 

用foreach控制器遍历提取的title，并传参

 

 

 

经过beanshell脚本将遍历提取的title保存到本地文件，文件保存为title.csv

 

 

用matchNr函数获取返回的title总数，做为后续csv提取器的循环次数

 

 

 

在循环控制器下，用csv提取器从以前保存到本地的title.csv中循环读取title，并做为参数传递到后续接口的url中

 

 

 

循环控制器下，经过csv传参，循环触发url

 

 

 

循环触发url以后，用xpath表达式从url中提取出文本，传递变量为text

 

 

 

循环控制器下，经过foreach控制器遍历以前的提取的text，保存到本地文件。文件名用遍历获取的title依次命名建立

 

 

 

注：难点在于，须要按照超连接的标题建立本地文件，并把超连接以后的文本正确保存到文件之中

 

 

 

你还在为找不到可练习的接口而烦恼吗？如今加入龙渊阁，咱们手把手教你搭建属于本身的接口测试环境！

点击这里进入史上最具活力的测试交流平台！