如何避免Puppeteer被前端JS检测

工具和资料

• QQ群 - Javascript高级爬虫 - 做者自建群，欢迎加入！
• 中国商标网加密接口 - 仅做演示
• awesome-java-crawler - 做者收集的爬虫相关工具和资料

前言

这两天开始看puppeteer，发现竟然也能被某数的前端js检测出来！？
github的issue区找了找，原来puppeteer启动的chrome里面，是有navigator.webdriver属性的，搞什么搞么，老外真是作那啥还要立牌坊……

方案1

issue区里看到的解决方案：

await this.page.evaluateOnNewDocument(() => {
         Object.defineProperty(navigator, 'webdriver', {
         get: () => undefined,
    });
 }

可是说实话这个仍是有点问题的，由于用"webdriver" in navigator仍是能检测出来。

方案2

想找找到底哪一个环节把"webdriver"属性加上的，可是文本搜索发现puppeteer源码中并无……
后来chrome中用chrome:version看了下命令行启动参数，结果发现了这个："--enable-automation"……
一看就有问题，为了确认特地搜了一下这个命令行参数的说明：

--enable-automation: Inform users that their browser is being controlled by an automated test.

妈蛋纯粹是立牌坊用的，其它毛用没有……

确认了就能够干掉它了，启动chrome时加个忽略默认参数便可：

const browser = await puppeteer.launch({ignoreDefaultArgs: ["--enable-automation"]});