Python网络爬虫项目：使用requests获取网页，经过xpath提取数据

本次讲解经过requests获取某一个网站，网址：http://www.gxccedu.com/sp2017/zli/index.html
而后使用xpath提取页面中的“专利名称”。

步骤：

一、使用pycharm新建项目，新建的时候记得勾选“Inherit global site-packages”不然可能找不到requests类库

二、编写代码，咱们看到网页上的数据量是101行，以下所示：

代码以下：

项目结构（不重要）：

程序代码：

首先咱们要分析网页的源码，在浏览器按F12能够查看到源码，把源码全选复制到一个pycharm新建的HTML文档，能够看到对应的树形结构。

咱们能够看到，在左边的编辑框这里，凡有“-”号的，都是在树形结构内的。由此咱们能够知道，若是想要获取到td，则完整的树形结构是：

html-body-div-table-tr-td

可是tr是多个的，而且第一个是表头，因此第一个不是咱们想要的，因此咱们要对第一个的表头抛弃掉。

另外td也是多个的，而且咱们只须要每一个tr里面的第二个td，因此咱们能够采用下标的方式来获取。

最终完整的树形结构是：/html/body/div/table/tr[postion()>1]/td[2]

因此，代码以下：

 

最后，运行结果：