以 Python 职位为例,请求地址以下:php
第一页:https://search.51job.com/list/000000,000000,0000,00,9,99,python,2,1.htmlhtml
第二页:https://search.51job.com/list/000000,000000,0000,00,9,99,python,2,2.htmlpython
第三页:https://search.51job.com/list/000000,000000,0000,00,9,99,python,2,3.htmlgit
初始化函数:github
def __init__(self): self.base_url = 'https://search.51job.com/list/000000,000000,0000,00,9,99,%s,2,%s.html' self.headers = { 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.13 Safari/537.36'} self.keyword = input('请输入关键字:')
在页面的下方给出了该职位一共有多少页,使用 Xpath 和正则表达式提取里面的数字,方便后面翻页爬取使用,注意页面编码为 gbk
。web
def tatal_url(self): url = self.base_url % (self.keyword, str(1)) response = requests.get(url=url, headers=self.headers) tree = etree.HTML(response.content.decode('gbk')) # 提取一共有多少页 text = tree.xpath("//div[@class='p_in']/span[1]/text()")[0] number = re.findall('[0-9]', text) number = int(''.join(number)) print('%s职位共有%d页' % (self.keyword, number)) return number
定义一个 detail_url()
方法,传入总页数,循环提取每一页职位详情页的 URL,将每个详情页 URL 传递给 parse_data()
方法,用于解析详情页内的具体职位信息。正则表达式
提取详情页时有如下几种特殊状况:mongodb
特殊状况一:若是有前程无忧本身公司的职位招聘信息掺杂在里面,他的详情页结构和普通的不同,页面编码也有差异。数据库
页面示例:https://51rz.51job.com/job.html?jobid=115980776json
页面真实数据请求地址相似于:https://coapi.51job.com/job_detail.php?jsoncallback=&key=&sign=params={“jobid”:""}
请求地址中的各参数值经过 js 加密:https://js.51jobcdn.com/in/js/2018/coapi/coapi.min.js
特殊状况二:部分公司有本身的专属页面,此类页面的结构也不一样于普通页面
页面示例:http://dali.51ideal.com/jobdetail.html?jobid=121746338
为了规范化,本次爬取将去掉这部分特殊页面,仅爬取 URL 带有 jobs.51job.com
的数据
def detail_url(self, number): for num in range(1, number+1): url = self.base_url % (self.keyword, str(num)) response = requests.get(url=url, headers=self.headers) tree = etree.HTML(response.content.decode('gbk')) detail_url1 = tree.xpath("//div[@class='dw_table']/div[@class='el']/p/span/a/@href") """ 深拷贝一个 url 列表,若是有连续的不知足要求的连接,若直接在原列表里面删除, 则会漏掉一些连接,由于每次删除后的索引已改变,所以在原列表中提取不符合元素 后,在深拷贝的列表里面进行删除。最后深拷贝的列表里面的元素均符合要求。 """ detail_url2 = copy.deepcopy(detail_url1) for url in detail_url1: if 'jobs.51job.com' not in url: detail_url2.remove(url) self.parse_data(detail_url2) print('第%d页数据爬取完毕!' % num) time.sleep(2) print('全部数据爬取完毕!')
解析详情页时页面编码是 gbk
,可是某些页面在解析时仍然会报编码错误,所以使用 try-except
语句捕捉编码错误(UnicodeDecodeError),若是该页面有编码错误则直接 return 结束函数。
def parse_data(self, urls): """ position: 职位 wages: 工资 region: 地区 experience: 经验 education: 学历 need_people: 招聘人数 publish_date: 发布时间 english: 英语要求 welfare_tags: 福利标签 job_information: 职位信息 work_address: 上班地址 company_name: 公司名称 company_nature: 公司性质 company_scale: 公司规模 company_industry: 公司行业 company_information: 公司信息 """ for url in urls: response = requests.get(url=url, headers=self.headers) try: text = response.content.decode('gbk') except UnicodeDecodeError: return tree = etree.HTML(text) """ 提取内容时使用 join 方法将列表转为字符串,而不是直接使用索引取值, 这样作的好处是遇到某些没有的信息直接留空而不会报错 """ position = ''.join(tree.xpath("//div[@class='cn']/h1/text()")) wages = ''.join(tree.xpath("//div[@class='cn']/strong/text()")) # 经验、学历、招聘人数、发布时间等信息都在一个标签里面,逐一使用列表解析式提取 content = tree.xpath("//div[@class='cn']/p[2]/text()") content = [i.strip() for i in content] if content: region = content[0] else: region = '' experience = ''.join([i for i in content if '经验' in i]) education = ''.join([i for i in content if i in '本科大专应届生在校生硕士']) need_people = ''.join([i for i in content if '招' in i]) publish_date = ''.join([i for i in content if '发布' in i]) english = ''.join([i for i in content if '英语' in i]) welfare_tags = ','.join(tree.xpath("//div[@class='jtag']/div//text()")[1:-2]) job_information = ''.join(tree.xpath("//div[@class='bmsg job_msg inbox']/p//text()")).replace(' ', '') work_address = ''.join(tree.xpath("//div[@class='bmsg inbox']/p//text()")) company_name = ''.join(tree.xpath("//div[@class='tCompany_sidebar']/div[1]/div[1]/a/p/text()")) company_nature = ''.join(tree.xpath("//div[@class='tCompany_sidebar']/div[1]/div[2]/p[1]//text()")) company_scale = ''.join(tree.xpath("//div[@class='tCompany_sidebar']/div[1]/div[2]/p[2]//text()")) company_industry = ''.join(tree.xpath("//div[@class='tCompany_sidebar']/div[1]/div[2]/p[3]/@title")) company_information = ''.join(tree.xpath("//div[@class='tmsg inbox']/text()")) job_data = [position, wages, region, experience, education, need_people, publish_date, english, welfare_tags, job_information, work_address, company_name, company_nature, company_scale, company_industry, company_information] save_mongodb(job_data)
指定一个名为 job51_spider
的数据库和一个名为 data
的集合,依次将信息保存至 MongoDB。
def save_mongodb(data): client = pymongo.MongoClient(host='localhost', port=27017) db = client.job51_spider collection = db.data save_data = { '职位': data[0], '工资': data[1], '地区': data[2], '经验': data[3], '学历': data[4], '招聘人数': data[5], '发布时间': data[6], '英语要求': data[7], '福利标签': data[8], '职位信息': data[9], '上班地址': data[10], '公司名称': data[11], '公司性质': data[12], '公司规模': data[13], '公司行业': data[14], '公司信息': data[15] } collection.insert_one(save_data)
从 MongoDB 里面读取数据为 DataFrame 对象,本次可视化只分析工资与经验、学历的关系,因此只取这三项,因为获取的数据有些是空白值,所以使用 replace 方法将空白值替换成缺失值(NaN),而后使用 DataFrame 对象的 dropna()
方法删除带有缺失值(NaN)的行。将工资使用 apply
方法,将每一个值应用于 wish_data
方法,即对每一个值进行清洗。
def processing_data(): # 链接数据库,从数据库读取数据(也能够导出后从文件中读取) client = pymongo.MongoClient(host='localhost', port=27017) db = client.job51_spider collection = db.data # 读取数据并转换为 DataFrame 对象 data = pd.DataFrame(list(collection.find())) data = data[['工资', '经验', '学历']] # 使用正则表达式选择空白的字段并填充为缺失值,而后删除带有缺失值的全部行 data.replace(to_replace=r'^\s*$', value=np.nan, regex=True, inplace=True) data = data.dropna() # 对工资数据进行清洗,处理后的工做单位:元/月 data['工资'] = data['工资'].apply(wish_data) return data
def wish_data(wages_old): """ 数据清洗规则: 分为元/天,千(以上/下)/月,万(以上/下)/月,万(以上/下)/年 若数据是一个区间的,则求其平均值,最后的值统一单位为元/月 """ if '元/天' in wages_old: if '-' in wages_old.split('元')[0]: wages1 = wages_old.split('元')[0].split('-')[0] wages2 = wages_old.split('元')[0].split('-')[1] wages_new = (float(wages2) + float(wages1)) / 2 * 30 else: wages_new = float(wages_old.split('元')[0]) * 30 return wages_new elif '千/月' in wages_old or '千如下/月' in wages_old or '千以上/月' in wages_old: if '-' in wages_old.split('千')[0]: wages1 = wages_old.split('千')[0].split('-')[0] wages2 = wages_old.split('千')[0].split('-')[1] wages_new = (float(wages2) + float(wages1)) / 2 * 1000 else: wages_new = float(wages_old.split('千')[0]) * 1000 return wages_new elif '万/月' in wages_old or '万如下/月' in wages_old or '万以上/月' in wages_old: if '-' in wages_old.split('万')[0]: wages1 = wages_old.split('万')[0].split('-')[0] wages2 = wages_old.split('万')[0].split('-')[1] wages_new = (float(wages2) + float(wages1)) / 2 * 10000 else: wages_new = float(wages_old.split('万')[0]) * 10000 return wages_new elif '万/年' in wages_old or '万如下/年' in wages_old or '万以上/年' in wages_old: if '-' in wages_old.split('万')[0]: wages1 = wages_old.split('万')[0].split('-')[0] wages2 = wages_old.split('万')[0].split('-')[1] wages_new = (float(wages2) + float(wages1)) / 2 * 10000 / 12 else: wages_new = float(wages_old.split('万')[0]) * 10000 / 12 return wages_new
def wages_experience_chart(data): # 根据经验分类,求不一样经验对应的平均薪资 wages_experience = data.groupby('经验').mean() # 获取经验和薪资的值,将其做为画图的 x 和 y 数据 w = wages_experience['工资'].index.values e = wages_experience['工资'].values # 按照经验对数据从新进行排序,薪资转为 int 类型(也能够直接在前面对 DataFrame 按照薪资大小排序) wages = [w[6], w[1], w[2], w[3], w[4], w[5], w[0]] experience = [int(e[6]), int(e[1]), int(e[2]), int(e[3]), int(e[4]), int(e[5]), int(e[0])] # 绘制柱状图 plt.rcParams['font.sans-serif'] = ['Microsoft YaHei'] plt.figure(figsize=(9, 6)) x = wages y = experience color = ['#E41A1C', '#377EB8', '#4DAF4A', '#984EA3', '#FF7F00', '#FFFF33', '#A65628'] plt.bar(x, y, color=color) for a, b in zip(x, y): plt.text(a, b, b, ha='center', va='bottom') plt.title('Python 相关职位经验与平均薪资关系', fontsize=13) plt.xlabel('经验', fontsize=13) plt.ylabel('平均薪资(元 / 月)', fontsize=13) plt.savefig('wages_experience_chart.png') plt.show()
def wages_education_chart(data): # 根据学历分类,求不一样学历对应的平均薪资 wages_education = data.groupby('学历').mean() # 获取学历和薪资的值,将其做为画图的 x 和 y 数据 wages = wages_education['工资'].index.values education = [int(i) for i in wages_education['工资'].values] # 绘制柱状图 plt.rcParams['font.sans-serif'] = ['Microsoft YaHei'] plt.figure(figsize=(9, 6)) x = wages y = education color = ['#E41A1C', '#377EB8', '#4DAF4A'] plt.bar(x, y, color=color) for a, b in zip(x, y): plt.text(a, b, b, ha='center', va='bottom') plt.title('Python 相关职位学历与平均薪资关系', fontsize=13) plt.xlabel('学历', fontsize=13) plt.ylabel('平均薪资(元 / 月)', fontsize=13) plt.savefig('wages_education_chart.png') plt.show()
一共有 34009 条数据,完整数据已放在 github,可自行下载。
MongoDB:
CSV 文件:
JSON 文件:
完整代码地址(点亮 star 有 buff 加成):https://github.com/TRHX/Python3-Spider-Practice/tree/master/51job
其余爬虫实战代码合集(持续更新):https://github.com/TRHX/Python3-Spider-Practice
爬虫实战专栏(持续更新):https://itrhx.blog.csdn.net/article/category/9351278