python零基础网络爬虫：抓取4A级猎头公司数据

时间 2019-12-28

标签 python 零基础网络爬虫抓取 4a 猎头公司数据栏目 Python 繁體版

原文原文链接

1.序言

一我的的心有多大，世界就有多大，只是太多的人只能看到眼前的苟且，因而本身的一辈子就和苟且作斗争，最后也只是输给了本身的眼界而已。今天要带你们抓取的是锐仕方达猎头网站，里面有不少成功的招聘案例，这是一个静态网站，适合初学者或者缺少项目实战经验者学习，为了方便你们理解和阅读，我作了详细的思路剖析。

2.项目实战剖析

网站分析：

目标源地址url:www.risfond.com/case/fmcg/2… html

点击右键查看网页源代码，会发现上图方框内的内容在网页源代码（下图）是能够找到的！ python

因此咱们可使用python内置的模块去访问网址，这里能够用requests或者urllib，由于以前介绍过requests模块的使用，这里咱们就不作过多阐述，直接用urllib开战！虽然requests真的好用太多，但初学者其实也是须要学习内容的，技术无罪。接下来就开始咱们的实战！

实战思路剖析：

1.获取网站源码正则表达式

2.从源码解析所须要的数据bash

3.数据存储到excel函数

实战步骤讲解

第一步：获取网站源码

须要安装的库：pip install xlwt布局

第一步先导入urllib.request模块，记住python2跟3在模块上面使用是有区别的，这个模块就是如此。

若是咱们想访问多个页面的话须要找寻网站的网址规律是怎么样的

http://www.risfond.com/case/fmcg/26700 ，http://www.risfond.com/case/fmcg/26701，

点击网址下一条就能够发现网址的规律，网址后面的数字是发生了改变的，

因此能够采用字符串格式化跟range函数，for in来进行使用，基础知识附带使用讲解下。

复制代码

1.range函数能够生成一个整数序列，里面只有一个参数默认从0开始，2个参数是含头不含尾，示例以下：学习

2.字符串格式化，%s表明字符串，%d表明数字，当不知道用什么的状况下能够用%s代替，format是用{}.format()的方式作到字符串格式化的。网站

3.发送请求ui

for i in range(26700,26716):
        url = 'http://www.risfond.com/case/fmcg/{}'.format(i)
        html = urllib.request.urlopen(url).read().decode('utf-8')#urlopen打开网址 read 读取源代码
        print(html)
复制代码

第二步：从源码解析所须要的数据

这里用的是re正则表达式，能够根据必定的规则从源码中匹配出相对应的内容，打个比方说，我去水果店买西瓜，西瓜的特征是果绿色的外壳，红色的果肉，椭圆形状，都是根据这个特征去寻找的，在网站中间也是如此，获取的内容有着共同的标签好比div，并且都是在同样的html布局中，就能够写一个正则，用findall去从源码html中匹配出来。编码

page_list = re.findall(r'<div class="sc_d_c">.*?<span class="sc_d_con">(.*?)</span></div>',html)
复制代码

第三步：数据存储到excel

根据内容，我以为存储到excel表格里面会比较好，因此对每行也写了必定的注释，你们能够参考下！

newTable = 'test2019.xls'#表格名称
    wb = xlwt.Workbook(encoding='utf-8') #建立excel文件 设置编码
    ws = wb.add_sheet('rsfd')#表名称
    headData = ['职位名称','职位地点','时间','行业','招聘时间','人数','顾问']
    for colnum in range(0,7):
        ws.write(0,colnum,heData[colnum],xlwt.easyxf('font:bold on'))
    index = 1
    for j in range(0,len(items)):#计算数据有多少条
        for i in range(0,7):
            print(items[j][i])
            ws.write(index,i,items[j][i])#行数 列数 数据
        index+=1
    wb.save(newTable)#保存
复制代码

结果以下：咱们能够看到全部的数据都被抓下来，而且存储到名为test2019的文件夹了。