利用selenium进行爬虫时，防止js检测驱动的方法

Posted 2021-03-18 只宅不技术

浏览器前端通常会做一下反爬虫的手段，如下

webdriver = window.navigator.webdriver;
if(webdriver){    
console.log(‘你这个傻逼你以为使用Selenium模拟浏览器就可以了？‘)
} else {    
console.log(‘正常浏览器‘)
}

如何利用爬虫针对js代码的反爬手段进行规避，以谷歌浏览器为例，进行设置，代码如下

from selenium import webdriver
option = webdriver.ChromeOptions()
option.add_experimental_option(‘excludeSwitches‘, [‘enable-automation‘])
driver = webdriver.Chrome(options=option)