北京整年天气情况分析

时间 2019-12-13 标签北京整年天气情况分析

本文来自 @范洺源投稿，在其基础上作了点修改

最近在学爬虫和数据分析，看到 天气网 上有国内城市一年的天气历史数据，想以此为数据源练习一下，因而就有了这个项目。今天在此简单介绍一下实现思路和最终效果。css

用到的相关库包括：html

requests
bs4
pandas
matplotlib
seaborn
pyecharts

分析数据源

天气网的 历史天气预报查询 页面（ http:// lishi.tianqi.com/）上有各城市的数据。以北京为例，打开页面以后通过简单的尝试就能够发现，每月的数据是以 http://lishi.tianqi.com/{城市的拼音}/{年份+月份}.html 这样的地址来展现的，因而可据此构建一个函数，函数的做用是默认返回北京市2018年1月到12月的 url：python

def get_url(city='beijing'):
    for time in range(201801,201813):
        url = "http://lishi.tianqi.com/{}/{}.html".format(city,time)
        yield url

爬取数据

有了 url 地址就能够用 requests 来抓取。这里要注意，得加上本身的 cookies ，不然会返回 404 页面，应该是对方网站作了反爬。拿到返回值以后，我用 bs4 库的 select 函数提取数据。select 函数使用的是 css 选择器 的语法。因为须要进行必定的数据分析，因此这里没有将数据保存到文件，而是直接使用 pandas 的 dataframe 进行储存。编程

html = requests.get(url=url, headers=header, cookies=cookie)
soup = BeautifulSoup(html.content, 'html.parser')
date = soup.select("#tool_site > div.tqtongji2 > ul > li:nth-of-type(1) > a")
max_temp = soup.select("#tool_site > div.tqtongji2 > ul > li:nth-of-type(2)")
min_temp = soup.select("#tool_site > div.tqtongji2 > ul > li:nth-of-type(3)")
weather = soup.select("#tool_site > div.tqtongji2 > ul > li:nth-of-type(4)")
wind_direction = soup.select("#tool_site > div.tqtongji2 > ul > li:nth-of-type(5)")
date = [x.text for x in date]
max_temp = [x.text for x in max_temp[1:]]
min_temp = [x.text for x in min_temp[1:]]
weather = [x.text for x in weather[1:]]
wind_direction = [x.text for x in wind_direction[1:]]
data = pd.DataFrame([date,max_temp,min_temp,weather,wind_direction]).T

对12个月份进行抓取后再汇总，就获得了北京2018年整年的天气数据，包括 最高温度、最低温度、天气情况、风向 等信息。适当加工下信息，咱们用一些图表来进行可视化的展现：cookie

平均温度的分布

seaborn.distplot(result['平均温度'])

平均温度是使用每日最高温度和最低温度取平均的值。北京平均温度在0度和20多度的日子是最多的。app

按月查看温度走势

result.groupby(result['日期'].apply(lambda x:x.month)).mean().plot(kind='line')

天气情况分布

seaborn.countplot(result['天气情况'])

晴天和多云是北京一年中主要的天气。echarts

各月降水天数统计

line = pyecharts.Line("各月降水天数统计")
line.add("降水天数", month, is_rain, is_fill=True, area_opacity=0.7, is_stack=True)
line.add("未降水天数", month, no_rain, is_fill=True, area_opacity=0.7, is_stack=True)

这里用 pyecharts 作了一个堆叠折线图。北京的降水天数很少，主要在七、8月份。能够对比下重庆的数据，差异就很明显了：函数

风向统计

directions = ['北风', '西北风', '西风', '西南风', '南风', '东南风', '东风', '东北风']
schema = []
v = []
days = result['风向'].value_counts()
for d in directions:
    schema.append((d,100))
    v.append(days[d])
v = [v]
radar = pyecharts.Radar()
radar.config(schema)
radar.add("风向统计", v, is_axisline_show=True)

为了让结果更加直观，这里采用了 pyecharts 里的 雷达图 ，而且将8个维度按真实方向的角度来排列。一般认为，北京冬季盛行西北风，夏季盛行东南风。不过从数据上来看，西南风才是北京2018年的最热门的风向。网站

以上就是我这个项目所作的工做，内容仍是比较基础的。你们能够作进一步的扩展，好比爬取其余的城市，而后进行全国多城市的天气比较，或者结合地图进行可视化。url

几个相关库的官网都很不错，供参考：

requests http://cn.python-requests.org/zh_CN/latest/
bs4 https://www.crummy.com/software/BeautifulSoup/bs4/doc.zh/
pyecharts http://pyecharts.org/
seaborn http://seaborn.pydata.org/
pandas https://pandas.pydata.org/

文章源码及相关文件已上传，获取代码及可视化效果可在公众号（ Crossin的编程教室 ）回复关键字天气

本文是咱们编程教室新春征稿活动的一篇投稿，来自 @ 范洺源 同窗。

咱们编程教室会持续向全部人开放，若是有投稿或参与志愿者的意向，欢迎随时在公众号里给咱们留言。