谷歌爬虫神器（Pyppeteer）--神挡杀神，佛挡杀佛

你遇到的问题 咱们可能用requests保存的网页，返回到的都是JS代码，那我怎么解析网页，Xpath和BS4都是筛选HTML标签的呀。这咋办？这说明人家是JS预加载，那些网站这样作是为了反爬虫 若是是以前咱们肯能要分析JS代码找到里面的JSON数据，转换JSON格式化，而后再抓数据 但是如今谷歌推出一款神器，神挡杀神，佛当杀佛 不管对方怎么JS加载，用这个神器老是会返回HTML代码 而后呢？你就

>>阅读原文<<