python中用beautifulSoup+urlib2 安装、抓取和解析网页，以及解析shtml

时间 2019-11-07

标签 python 中用 beautifulsoup+urlib2 beautifulsoup urlib 安装抓取解析网页以及 shtml 栏目 Python 繁體版

原文原文链接

安装 Beautiful Soup¶

若是你用的是新版的Debain或ubuntu,那么能够经过系统的软件包管理来安装:html

$ apt-get install Python-bs4html5

Beautiful Soup 4 经过PyPi发布,因此若是你没法使用系统包管理安装,那么也能够经过 easy_install 或 pip 来安装.包的名字是beautifulsoup4 ,这个包兼容Python2和Python3.web

$ easy_install beautifulsoup4ubuntu

$ pip install beautifulsoup4浏览器

(在PyPi中还有一个名字是 BeautifulSoup 的包,但那可能不是你想要的,那是 Beautiful Soup3 的发布版本,由于不少项目还在使用BS3, 因此 BeautifulSoup 包依然有效.可是若是你在编写新项目,那么你应该安装的 beautifulsoup4 )google

若是你没有安装 easy_install 或 pip ,那你也能够下载BS4的源码 ,而后经过setup.py来安装.url

$ Python setup.py installspa

若是上述安装方法都行不通,Beautiful Soup的发布协议容许你将BS4的代码打包在你的项目中,这样无须安装便可使用.操作系统

做者在Python2.7和Python3.2的版本下开发Beautiful Soup, 理论上Beautiful Soup应该在全部当前的Python版本中正常工做code

安装解析器¶

Beautiful Soup支持Python标准库中的HTML解析器,还支持一些第三方的解析器,其中一个是 lxml .根据操做系统不一样,能够选择下列方法来安装lxml:

$ apt-get install Python-lxml

$ easy_install lxml

$ pip install lxml

另外一个可供选择的解析器是纯Python实现的 html5lib , html5lib的解析方式与浏览器相同,能够选择下列方法来安装html5lib:

$ apt-get install Python-html5lib

$ easy_install html5lib

$ pip install html5lib

解析通常的网页（html），直接：

from bs4 import BeautifulSoup,BeautifulStoneSoup

import urllib2

import html5lib

url_header = "xxxxxx"

Webpage = urllib2.urlopen(url_header).read()

soup = BeautifulSoup(webpage)

print soup.prettify( )

可是在解析shtml的网页的时候，beautifulsoup模块支持的解释器有lxml，html5lib和HTMLparse三种，只有html5lib支持解析shtml，因此在生成beautifulsoup对象的时候，要加上一个参数：soup = BeautifulSoup(Webpage,"html5lib")，否则的话，当解析shtml页面的时候，<body> </body>标签里面的内容是没法解析的。

更多详情请参考:BeautifulSoup 4.2.0官方档http://www.crummy.com/software/BeautifulSoup/bs4/doc/index.zh.html