这是以前的一个小例子,如今记下。愈来愈以为学习编程开发,不写笔记不写博客简直就是白学,因此如今把这些记下来。这个抓取的网站无需登陆。主要是想记住几个bs函数的用法。
python
代码以下:
编程
import urllib2 import re from BeautifulSoup import BeautifulSoup url="http://www.realestate.com.au/neighbourhoods/brendale-4500-qld" response=urllib2.urlopen(url) #获取网站源码 data=response.read() soup=BeautifulSoup(''.join(data)) #bs的用法,解析网站结构 a=soup.findAll('div',{'class':'slide-section median-price-subsections trend'},text=None) #find及findAll 在bs中特别有用。能够根据标签和属性找到相应目录 b=a[0].get('data-trend') #解析到的结果是一个数组,用get方法能够获得每个条目的具体属性值 print b