python接口自动化29-requests-html支持JavaScript渲染页面

前言

requests虽好，但有个遗憾，它没法加载JavaScript，当访问一个url地址的时候，不能像selenium同样渲染整个html页面出来。
requests-html终于能够支持JavaScript了，这就至关因而一个真正意义上的无界面浏览器了。
中文文档地址：https://cncert.github.io/requests-html-doc-cn/#/

JavaScript支持

当第一次使用render() 渲染页面的时候，会自动下载chromium，但只会下载这一次，后面就不会下载了。

from requests_html import HTMLSession
session = HTMLSession()

r = session.get('https://www.cnblogs.com/yoyoketang/')
r.html.render()  # 首次使用，自动下载chromium

render()渲染页面

到底渲染html页面是个什么概念呢？能够请求以后对比抓包看下，不使用render()以前，只发一个请求

使用render()以后，会发不少请求，类型于手工在浏览器上输入url后，浏览器渲染整个完整的页面，这正是咱们想要的模拟浏览器发请求

案例

接下来访问个人博客地址后，抓取个人我的信息

from requests_html import HTMLSession
session = HTMLSession()

r = session.get('https://www.cnblogs.com/yoyoketang/', verify=False)
r.html.render()  # 首次使用，自动下载chromium
# print(r.html.html)
d = r.html.find("#profile_block", first=True)
print(d.text)

打印结果

昵称：上海-悠悠
园龄：2年4个月
粉丝：1570
关注：73
+加关注

困扰好久的问题终于找到了解决办法，更多强大的功能能够去requests-html的GitHub地址https://github.com/kennethreitz/requests-html