用Beautiful Soup抓取数据的小例子

        这是以前的一个小例子,如今记下。愈来愈以为学习编程开发,不写笔记不写博客简直就是白学,因此如今把这些记下来。这个抓取的网站无需登陆。主要是想记住几个bs函数的用法。
python

        代码以下:
编程

        

import urllib2
import re
from BeautifulSoup import BeautifulSoup

url="http://www.realestate.com.au/neighbourhoods/brendale-4500-qld"
response=urllib2.urlopen(url)               #获取网站源码
data=response.read()
soup=BeautifulSoup(''.join(data))           #bs的用法,解析网站结构
a=soup.findAll('div',{'class':'slide-section median-price-subsections trend'},text=None)   #find及findAll 在bs中特别有用。能够根据标签和属性找到相应目录
b=a[0].get('data-trend')                    #解析到的结果是一个数组,用get方法能够获得每个条目的具体属性值
print b
相关文章
相关标签/搜索