1.找到网页并分析网页结构
python
首先进入豆瓣电影Top250这个网页，按下f12打开开发者工具，以下图mysql
而后开始分析网页，点击开发者工具左上角的有个箭头的东西去找你须要找的数据，在这里我发现每一个电影的信息都是在<li>的标签内，因此能够用正则表达式来先提取每个电影，而后在分别提取每一个电影中的数据。每一个电影如今的数据均可以获取了，可是这个url只有25个电影，怎样获取下一页的呢？这里咱们能够在每一个页面获取下一页的连接，而后经过循环来继续获取下一页的电影数据便可web
咱们能够先用开发者工具的箭头点一下后页，而后就显示右边的箭头数据出来，这里咱们也能够用正则表达式来获取下一页的连接，而后接下来的工做就是循环了，好了分析结束，开始敲代码吧！正则表达式
2.用面向对象的方法进行爬取数据sql
先用requests对网页进行请求，获取网页的html结构，在这里，为了防止网页的反爬虫技术，我加了个请求头（记得使用requests库以前先导入，没有的能够在命令行经过 pip install requests 进行下载）数据库
请求头在开发者工具中查看，以下图所示微信
接下用正则表达式进行获取数据工具
先匹配每个电影和每一页数据（使用正则表达式的库是re）学习
接下来获取每一个电影的数据
注意：获取到上面的数据，有的是空的，因此还须要进行判断是否为空，为了好看，我用了三元表达式进行判断，完成以后把他们存入字典
接下来就是进行循环取下一页的数据了
3.若是你有点数据库基础的话，还能够把他们存入数据库，在这里我把这些数据存入MySQL数据库，代码以下，须要本身先建好数据库好表格
这是操做数据库的类（使用的库为pymysql）
而后回到爬虫类进行把数据存入数据库
4.成功后你就会在数据库中查到如下数据
最后，很是感谢你看完了这篇文章，喜欢的话，能够点下关注，转发点赞下，或者有什么问题的话欢迎在留言区留言，我会认真回答的。
本文分享自微信公众号 - 平常学python（daily_learn）。
若有侵权，请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”，欢迎正在阅读的你也加入，一块儿分享。