selenium 页面加载慢，超时的解决方案

开发环境：

win10-64  python2.7.16  chrome77

 

from selenium import webdriver

driver = webdriver.Chrome(executable_path='chromedriver.exe')

driver.get('http://所有加载完成超级慢的网站')


user = 'abc'
pwd = '123

driver.find_element_by_id('email').send_keys(user)
driver.find_element_by_id('pass').send_keys(pwd)

先看这样一段代码

当执行了get之后，除非网站所有加载完成，不然你只能乖乖等，什么都不能干，这是整个程序是阻塞的，get不完就别想进行下面操做

这个等待多是5分钟或者更久

其实5秒钟的时候界面就已经打开了，而后他还在加载些什么js，img，等待速度超慢的，可是网页人工是能够操做

那么有没有什么办法呢，网上找了一通，给出了不少解决方案

 

首先是这货（下面是我复制的）：

from selenium import webdriver
driver=webdriver.Chrome()
driver.set_page_load_timeout(5)
driver.set_script_timeout(5)#这两种设置都进行才有效

try:
    d.get(s)
except:
    d.execute_script('window.stop()')#这句话好像没什么软用

能够在页面中止加载后继续操做了

driver.set_page_load_timeout(5)这玩意一设置，没问题，5秒后网页确实中止了，可是driver也死了，无论运行什么都是timeout，还说try一下，driver是死透了，只能从新来
不知道是selenium更新了仍是他本身没测试仍是chrome更新了，如今这么设置就是找死的

注意：使用set_page_load_timeout时候，当页面未加载出任何东西的时候（每每是html源码未加载），由于超时而中止，会致使driver失效，
后面的driver都不能操做，因此超时设置应该至少保证页面内容加载出来一部分，设置超时不宜太短，以下图在页面此种状态下中止加载后driver失效。

不错，是有人也说了，不能设置过短，会失效，可是我能够说，你设置5分钟照样失效，只要超时一次，driver就完蛋，直接翻车

接下来是另外一个方法

# coding = utf-8
from selenium import webdriver
from selenium.webdriver.support.wait import WebDriverWait
import time

driver = webdriver.Chrome()
class button():
    def __call__(self, driver):
        if driver.find_element_by_id('js_love_url'):
            return True
        else:
            return False 

driver.implicitly_wait(60)
time_start = time.time()
driver.get('https://www.163.com/')

# driver.find_element_by_id('js_love_url').click()
WebDriverWait(driver,2,0.5).until(button()) 
time_end = time.time()
print('access time is : ', time_end - time_start)
time.sleep(2)
driver.quit()

用WebDriverWait进行操做，不过我测试下来，driver.get()不执行完，下面的代码根本就不会执行，因此仍是不行

 

找了各类方法，各类操做，都失败了，总算今天找到了正确的方法

原理很是简单：driver.get()这个操做，改为不阻塞的就好了，这样打开网页就操做完成了，不须要等他加载

下面我能够直接等待须要的元素出现便可进行操做

 

配置也是很简单

from selenium import webdriver
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities


#get直接返回，再也不等待界面加载完成
desired_capabilities = DesiredCapabilities.CHROME
desired_capabilities["pageLoadStrategy"] = "none"

driver = webdriver.Chrome(executable_path='chromedriver.exe')

配置一个参数，就是页面加载策略，系统默认是等待，就是等他加载完，直接设置成none，就是不等待，这样就是get操做完后直接就是结束了

不影响下面的操做，这样就能够愉快的玩耍了