原理很简单,经过发送resquest请求获取服务器的response,再使用xpath提取其中咱们须要的数据,而后保存到文件中。服务器
先看看我爬取的结果:函数
首先,须要用到的模块有两个:spa
•requestsorm
•lxmlxml
让咱们把注意力放在箭头所指的start = 0处,当start = 0时,意味着发送的是第一页榜单的URL请求blog
豆瓣设定每页榜单只显示25部电影,故共有10页,每页的Resquest URL也不同。 字符串
不过,每一页的Resquest URL都有一个很明显的规律,而这个规律帮了咱们大忙。requests
让咱们再看一张图:form
这是250榜单的最后一页的URL请求,能够看到start的值已经变为了从第一页的0增加到了225变量
豆瓣250榜单共有10页,到此,规律已经很明显了,即:
每增加一页,start的值就增长25。
咱们在上一步获得了规律,start 在每次请求中都 +=25
因此咱们能够写一 个 for 循环,在循环内发送请求,并在其中定义一个变量 count ,使它在每次循环结束都 +=25,
先用 str.format(count) 函数来把count 赋给URL字符串,再发送请求
提取数据时,我用的是 etree.xpath() 函数,在形参输入xpath语言提取须要的数据标签便可,而后保存。
上代码↓