读书笔记（3）——利用selenium爬取QQ空间的留言板

利用selenium爬取QQ空间的留言板，方法不怎么样，练练手。直接上代码：

#-*- coding-8 -*-
from bs4 import BeautifulSoup
from selenium import webdriver
import time

#使用selenium
driver = webdriver.PhantomJS(executable_path=r"F:\经常使用软件\python\phantomjs-2.1.1-windows\bin\phantomjs.exe")
driver.maximize_window()
#登陆QQ空间
def get_liuyanban(qq):
    import time
    driver.get('http://user.qzone.qq.com/{}/334'.format(qq))
    print(qq+'的空间留言板')
    time.sleep(5)
    try:
        driver.find_element_by_id('login_div')
        a = True
    except:
        a = False
    
    if a == True:
        driver.switch_to.frame('login_frame')
        driver.find_element_by_id('switcher_plogin').click()
        driver.find_element_by_id('u').clear()#选择用户名框
        driver.find_element_by_id('u').send_keys('访问者的QQ号')
        driver.find_element_by_id('p').clear()
        driver.find_element_by_id('p').send_keys('访问者的密码')
        driver.find_element_by_id('login_button').click()
        time.sleep(3)
    driver.implicitly_wait(3)

    try:
        driver.find_element_by_id(r'QM_OwnerInfo_Icon')
        b = True
        print('能够访问')
    except:
        b = False
        print('没有访问权限或者网络错误，请重试')
        
    if b == True:
        print('开始加载')
        driver.switch_to.frame('app_canvas_frame')
        
        num = driver.find_element_by_id('cnt')
        #总留言数
        x = int(num.text)
        y = x // 10
        #print(y),获得总页数，就能够根据这个能够爬取全部留言
        #获得留言者，留言时间，留言内容
        for i in range(5):#这边暂时就爬取五页，随意修改
            names = driver.find_elements_by_css_selector('.c_tx.q_namecard')
            times = driver.find_elements_by_css_selector('.c_tx3.mode_post')
            ments = driver.find_elements_by_class_name('cont')
            print('第%s页留言'%(i+1))
            for name,stime,ment in zip(names,times,ments):
                data = {
                        '留言人':name.text,
                        '留言时间':stime.text,
                        '留言内容':ment.text
                        }
                print(data)
            page_down = driver.find_element_by_xpath(r".//*[@id='pager_bottom']/div/p[1]/a[2]")
            page_down.click()#翻页操做
            time.sleep(3)
            driver.implicitly_wait(3)
           
        
        
        print('OK')
    print("==========完成================")

    driver.close()
    driver.quit()
    

if __name__ == '__main__':
    get_liuyanban('想要访问的人的QQ号')

分开说一下代码：

第一行注释是为了告诉Python解释器，按照UTF-8编码读取源代码，不然，你在源代码中写的中文输出可能会有乱码。

#-*- coding-8 -*-

而后导入三个模块，初始化浏览器PhantomJS:

from bs4 import BeautifulSoup
from selenium import webdriver
import time

#使用selenium
driver = webdriver.PhantomJS(executable_path=r"F:\经常使用软件\python\phantomjs-2.1.1-windows\bin\phantomjs.exe")
driver.maximize_window()

定义函数，访问网页，这边有一个小问题，就是若是不在函数内import time的话，那么就会报错，说time不是一个全局变量巴拉巴拉的。

def get_liuyanban(qq):
    import time
    driver.get('http://user.qzone.qq.com/{}/334'.format(qq))
    print(qq+'的空间留言板')
    time.sleep(5)

分析网页：登入界面的‘’iframe‘’，‘’账号密码登陆‘’，“输入QQ号的输入框”，“输入密码的输入框”，“登入按钮”的位置信息。

         

 

 

 

分别能够得出：id = login_frame,id = switchar_plogin,id = u,id = p,id = login_bottom

try:
        driver.find_element_by_id('login_div')
        a = True
    except:
        a = False
    
    if a == True:
        driver.switch_to.frame('login_frame')
        driver.find_element_by_id('switcher_plogin').click()
        driver.find_element_by_id('u').clear()#选择用户名框
        driver.find_element_by_id('u').send_keys('访问者的QQ号')
        driver.find_element_by_id('p').clear()
        driver.find_element_by_id('p').send_keys('访问者的密码')
        driver.find_element_by_id('login_button').click()
        time.sleep(3)
    driver.implicitly_wait(3)

判断login_div是判断有没到登入界面，到了的话，切换frame到输入框那儿，而后模拟登入，driver.implicitly是隐式等待。

QQ空间通常还会有无权限登入的问题，因此经过寻找有无id = QM_OwnerInfo_Icon的来判断是否有权限进入。进入后一样切换到留言板的frame，而后经过css路径定位到咱们所要的要素：留言人，留言时间，留言内容。

try:
        driver.find_element_by_id(r'QM_OwnerInfo_Icon')
        b = True
        print('能够访问')
    except:
        b = False
        print('没有访问权限或者网络错误，请重试')
        
    if b == True:
        print('开始加载')
        driver.switch_to.frame('app_canvas_frame')
        
        num = driver.find_element_by_id('cnt')
        #总留言数
        x = int(num.text)
        y = x // 10
        #print(y),获得总页数，就能够根据这个能够爬取全部留言
        #获得留言者，留言时间，留言内容
        for i in range(5):#这边暂时就爬取五页，随意修改
            names = driver.find_elements_by_css_selector('.c_tx.q_namecard')
            times = driver.find_elements_by_css_selector('.c_tx3.mode_post')
            ments = driver.find_elements_by_class_name('cont')
            print('第%s页留言'%(i+1))
            for name,stime,ment in zip(names,times,ments):
                data = {
                        '留言人':name.text,
                        '留言时间':stime.text,
                        '留言内容':ment.text
                        }
                print(data)
            page_down = driver.find_element_by_xpath(r".//*[@id='pager_bottom']/div/p[1]/a[2]")
            page_down.click()#翻页操做
            time.sleep(3)
            driver.implicitly_wait(3)
           
        
        
        print('OK')
    print("==========完成================")

    driver.close()
    driver.quit()

这边还读取了总留言数，而一页是呈现10条留言，这样就能够算出全部页数，模拟点击下一页的按钮，进入下一页继续读取。固然这边也能够把这些信息存成文件，或者加一些其它的操做。

这个程序也有一点点小问题，等待时间太久，爬取的时间有些为空，留言内容有表情，或者图片的时候呈现不对。若是再修修改改应该没问题。