Jmeter(十九)_ForEach控制器实现网页爬虫

一直以来，爬虫彷佛都是写代码去实现的，今天像你们介绍一下Jmeter如何实现一个网页爬虫！ 龙渊阁测试开发家园 317765580

Jmeter的爬虫原理其实很简单，就是对网页提交一个请求，而后把返回的全部href提取出来，利用ForEach控制器去实现url遍历。这样解释是否是很清晰？下面就来简单介绍一下如何操做。

首先咱们须要对网页提交一个请求，就拿腾讯新闻网举例子吧！咱们像腾讯新闻网发起一个请求，观察一下返回值能够发现中间有不少href标签+文字标题的url

咱们如今须要把这些url提取出来，利用强大的正则表达式！记得匹配数字填-1，意思就是把全部合适的url都取出来  龙渊阁测试开发家园 317765580

a target="_blank" class="linkto" href="http:// *(.*l)"

加一个debug查看一下是否真的取出来了 龙渊阁测试开发家园 317765580

又或者咱们在结果里面直接利用正则匹配一下，能够看到不少网页连接都被取出来了 龙渊阁测试开发家园 317765580

接下来咱们须要动用到ForEach控制器了，利用这个控制器对全部取出来的url进行遍历触发。记得在控制器里面填入变量名称，也就是刚刚正则表达式里面的变量名

接下来在ForEach控制器下面再添加一个http请求，利用它去执行请求触发

下面咱们能够观察结果了，见证奇迹的时候到了。观察结果咱们发现全部匹配的url都被触发了！ 龙渊阁测试开发家园 317765580