孤荷凌寒自学python第八十五天配置selenium并进行模拟浏览器操做1

孤荷凌寒自学python第八十五天配置selenium并进行模拟浏览器操做1

 

（完整学习过程屏幕记录视频地址在文末）

 

要模拟进行浏览器操做，只用requests是不行的，所以今天了解到有专门的解决方案：selenium模块及与火狐浏览器的配合使用。

1、环境配置

（一）、安装selenium模块

pip install selenium

C:\WINDOWS\system32>pip install selenium

Collecting selenium

  Downloading https://files.pythonhosted.org/packages/80/d6/4294f0b4bce4de0abf13e17190289f9d0613b0a44e5dd6a7f5ca98459853/selenium-3.141.0-py2.py3-none-any.whl (904kB)

    100% |████████████████████████████████| 911kB 637kB/s

Requirement already satisfied: urllib3 in g:\w10_1\python\python365\lib\site-packages (from selenium) (1.23)

Installing collected packages: selenium

Successfully installed selenium-3.141.0

 

（二）、安装火狐浏览器

默认安装路径便可。

 

（三）、配置火狐浏览器中的第三方工具

打开附件组件，选择“获取附件组件”，在搜索框中搜索selenium IDE，并添加到浏览器中。

 

（四）、下载geckodriver程序

geckodriver的下载连接：https://github.com/mozilla/geckodriver/releases

下载到本地后是一个zip文件，解压后只获得一个文件：

geckodriver.exe

将这个文件复制到火狐浏览器的安装路径中。

 

（五）、下载另外一个解析器html5lib

pip install html5lib

C:\WINDOWS\system32>pip install html5lib

Collecting html5lib

  Downloading https://files.pythonhosted.org/packages/a5/62/bbd2be0e7943ec8504b517e62bab011b4946e1258842bc159e5dfde15b96/html5lib-1.0.1-py2.py3-none-any.whl (117kB)

    100% |████████████████████████████████| 122kB 261kB/s

Collecting webencodings (from html5lib)

  Downloading https://files.pythonhosted.org/packages/f4/24/2a3e3df732393fed8b3ebf2ec078f05546de641fe1b667ee316ec1dcf3b7/webencodings-0.5.1-py2.py3-none-any.whl

Requirement already satisfied: six>=1.9 in g:\w10_1\python\python365\lib\site-packages\six-1.11.0-py3.6.egg (from html5lib) (1.11.0)

Installing collected packages: webencodings, html5lib

Successfully installed html5lib-1.0.1 webencodings-0.5.1

 

2、而后进行测试，自动操做浏览器进入百度搜索

代码是从网上获取 的，来源已无从考证。

import json

import re

import time

 

from bs4 import BeautifulSoup

from selenium import webdriver

 

from selenium.webdriver.firefox.firefox_binary import FirefoxBinary

 

import _mty

import _mf

brower = webdriver.Firefox(executable_path=r'C:\Program Files\Mozilla Firefox\geckodriver.exe')

#打开百度搜索

brower.get("http://www.baidu.com")

#将查询条件赋值给查询文本框

brower.find_element_by_id('kw').send_keys('selenium')

#点击查询操做

brower.find_element_by_id('su').click()

#等待3秒，页面内容太多，有时加载比较慢

time.sleep(3)

#获取当前查询页面全部数据

html=brower.page_source

 

content=BeautifulSoup(html,'html5lib')

#row4=content.select("#4")[0]  #这儿就报错了，找不到这个css标签

#打印第4条查询结果

#print(row4)

#print(content)

_mf.writeAllTextToTxtFileGhlh('1.txt',str(content))

 

#pattern = re.compile(" class=\"c-abstract\">(.+?)<em>", re.S)

#ressource = re.findall(pattern, str(row4))[0]

#打印第4条查询结果的内容

#print(ressource)

brower.close()

 

执行时出现了错误（被我注释掉的那些行代码）

我分析的缘由是，页面没有加载出搜索后的内容，而后就开始去select操做寻找指定的标签对象，因此不会有结果，然而这种问题，目前我又无法解决，在此恳请高手指点，万分感激！！

 

 

——————————

今天整理的学习笔记完成，最后例行说明下个人自学思路：

根据过去多年我自学各类编程语言的经历，认为只有真正体验式，解决实际问题式的学习才会有真正的效果，即让学习实际发生。在2004年的时候我开始在一个乡村小学自学电脑 并学习vb6编程语言，没有学习同伴，也没有高师在上，甚至电脑都是孤岛（乡村那时尚未网络），有的只是一本旧书，在痛苦的自学摸索中，我找到适应本身零基础的学习方法：首先是每读书的一小节就做相应的手写笔记，第二步就是上机测试每个笔记内容是否实现，其中会发现书中讲的其实有出入或错误，第三步就是在上机测试以后，将笔记改成电子版，造成最终的修订好的正确无误的学习笔记 。

经过反复尝试错误，在那个没有分享与交流的黑暗时期我摸黑学会了VB6，尔后接触了其它语言，也曾听过付费视频课程，结果发现也许本身学历果真过低，就算是零基础的入门课程，其实也难以跟上进度，讲师的教学多数出现对初学者的实际状况并不了解的状况，何况学习者的个体也存在差别呢？固然更可怕的是收费课程的价格每每是本身难以承受的。

因而个人全部编程学习都改成了自学，继续本身的三步学习笔记法的学习之路。

固然自学的最大问题是会走那么多的弯路，没有导师直接输入式的教学来得直接，好在网络给咱们带来无限搜索的机会，你们在网络上的学习日志带给咱们共享交流的机会，而QQ群等交流平台、网络社区的成立，咱们能够一块儿自学，互相批评交流，也能够得到更有效，更自主的自学成果。

因而我以人生已过半的年龄，决定继续个人编程自学之路，开始学习python，只但愿与你们共同交流，一我的的独行是可怕的，只有一群人的共同前进才是有但愿的。

诚挚期待您的交流分享批评指点！欢迎联系我加入从零开始的自学联盟。

这个时代互联网成为了一种基础设施的存在，因而原本在孤独学习之路上的咱们变得再也不孤独，由于网络就是一个新的客厅，咱们时刻均可以进行沙龙活动。

很是乐意能与你们一块儿交流本身自学心得和发现，更但愿你们可以对我学习过程当中的错误给予指点——是的，这样我就能有许多免费的高师了——这也是分享时代，社区时代带来的好福利，我相信你们会的，是吧！

 

根据彻底共享的精神，开源互助的理念，个人我的自学录制过程是所有按4K高清视频录制的,从手写笔记到验证手写笔记的上机操做过程全程录制，但由于4K高清文件太大均超过5G以上，因此没法上传至网络，若有须要可联系我QQ578652607对传，乐意分享。上传分享到百度网盘的只是压缩后的720P的视频。

 

个人学习过程录像百度盘地址分享以下：（清晰度：1280x720）

连接：https://pan.baidu.com/s/1Bpc13UlP4gysP1x6tzps9g

提取码：7zun

 

Bilibili:

https://www.bilibili.com/video/av42215230/

 

喜马拉雅语音笔记：

https://www.ximalaya.com/keji/19103006/157187515