第3次做业-MOOC学习笔记：Python网络爬虫与信息提取

1.注册中国大学MOOC

2.选择北京理工大学嵩天老师的《Python网络爬虫与信息提取》MOOC课程

 

3.学习完成第0周至第4周的课程内容，并完成各周做业

 

4.提供图片或网站显示的学习进度，证实学习的过程。

5.写一篇很多于1000字的学习笔记，谈一下学习的体会和收获。

学习笔记：

大三刚接触到python这门课的时候，对于网络爬虫了解算是止于皮毛，只明白了爬虫是一种按照必定的规则，能够自动地抓取万维网信息的程序或者脚本，被普遍用于互联网搜索引擎，能够自动采集全部其可以访问到的页面内容，以获取或更新这些网站的内容和检索方式。此次经过鄂大伟老师的推荐，学习了《Python网络爬虫与信息提取》这门网络课程，让我体会到了python第三方库的强大，也让我对网络爬虫有了更深的认识。

这门课程介绍Python计算生态中最优秀的网络数据爬取和解析技术，具体讲授构建网络爬虫功能的两条重要技术路线：requests-bs4-re和Scrapy，课程内容是进入大数据处理、数据挖掘、以数据为中心人工智能领域的必备实践基础。教学内容包括：Python第三方库Requests，讲解经过HTTP/HTTPS协议自动从互联网获取数据并向其提交请求的方法；Python第三方库Beautiful Soup，讲解从所爬取HTML页面中解析完整Web信息的方法；Python标准库Re，讲解从所爬取HTML页面中提取关键信息的方法；python第三方库Scrapy，介绍经过网络爬虫框架构造专业网络爬虫的基本方法。

 

在网络爬虫之提取中，Beautiful Soup库是解析、遍历、维护“标签树”的功能库，bs4提供了5种基本元素和3种遍历功能。标记后的信息可造成信息组织结构，增长信息维度，可用于用于通讯、存储，更利于程序的理解和运用。信息标记有XML、JSON、YAML三种形式,。介绍了信息提取的通常方法：1.完整解析信息的标记形式，在提取关键信息。2.无视标记形式，直接搜索关键信息。融合方法：结合形式解析与搜索方法，提取关键信息。在网络爬虫之实战中，学习了正则表达式，是用来简洁表达一组字符串的表达式。认识了正则表达式的经常使用操做符。Re库是python的标准库，主要用于字符串匹配。Re库的函数调用有两种方式，一种是直接加上方法名调用，还有一种是先将函数编译成正则表达式对象，再用正则表达式对象调用函数。Re库的Match对象，是一次匹配的结果，包含匹配的不少信息。在网络爬虫之框架中，认识到爬虫框架是实现爬虫功能的一个软件结构和功能组件集合，爬虫框架是一个半成品，可以帮助用户实现专业文理爬虫，包括了“5+2”结构。学习到了Scrapy命令行的使用。Scrapy与requests比较，Scrapy是网站级爬虫，并发性好，性能较高，重点在于爬虫结构，但入门稍难。

 

嵩天老师的教学方法是先给学生讲授概念性的知识，再经过实战演练让咱们加深记忆。让我留下深入印象的是学习正则表达式的时候，由于须要记忆知识点有点多，因此我碰见了一些问题。正则表达式语法由字符和操做符组成，我本身写了一些例子，在开始的时候屡次碰到关于“/”与“\”写错了的事情，这一方面是本身键盘使用习惯问题，一方面也是本身对这两个符号的理解不够透彻。通过摸索学习我总结了如下内容：“/”是分隔符号，/通常用于正则表达的开始和结束，“\”用于在中途使用，起转义做用；而且若是一个“\”后出现一个字符，而且不是能够转义的字符，那么“\”及其后面的字符不会被转义。