移除Selenium中window.navigator.webdriver值


Posted in Python onJune 10, 2022

有不少朋友在开发爬虫的过程中喜欢使用Selenium + Chromedriver,以为这样就能做到不被网站的反爬虫机制发现。

先不说淘宝这种基于用户行为的反爬虫策略,仅仅是一个普通的小网站,使用一行Javascript代码,就能轻轻松松识别你是否使用了Selenium + Chromedriver模拟浏览器。

我们来看一个例子。

使用下面这一段代码启动Chrome窗口:

现在,在这个窗口中打开开发者工具,并定位到Console选项卡,如下图所示。

from selenium.webdriver import Chrome
driver = Chrome()

移除Selenium中window.navigator.webdriver值


现在,在这个窗口输入如下的js代码并按下回车键:

window.navigator.webdriver

可以看到,开发者工具返回了 true。如下图所示。

移除Selenium中window.navigator.webdriver值

但是,如果你打开一个普通的Chrome窗口,执行相同的命令,可以发现这行代码的返回值为 undefined,如下图所示:

移除Selenium中window.navigator.webdriver值

所以,如果网站通过js代码获取这个参数,返回值为 undefined说明是正常的浏览器,返回 true说明用的是Selenium模拟浏览器。一抓一个准。这里给出一个检测Selenium的js代码例子:

webdriver = window.navigator.webdriver;
if(webdriver){
    console.log('你这个小可爱你以为使用Selenium模拟浏览器就可以了?')
} else {
    console.log('正常浏览器')
}

网站只要在页面加载的时候运行这个js代码,就可以识别访问者是不是用的Selenium模拟浏览器。如果是,就禁止访问或者触发其他反爬虫的机制。

那么对于这种情况,在爬虫开发的过程中如何防止这个参数告诉网站你在模拟浏览器呢?

可能有一些会js的朋友觉得可以通过覆盖这个参数从而隐藏自己,但实际上这个值是不能被覆盖的:

移除Selenium中window.navigator.webdriver值

对js更精通的朋友,可能会使用下面这一段代码来实现:

Object.defineProperties(navigator, {webdriver:{get:()=>undefined}});

运行效果如下图所示:

移除Selenium中window.navigator.webdriver值

确实修改成功了。这种写法就万无一失了吗?并不是这样的,如果此时你在模拟浏览器中通过点击链接、输入网址进入另一个页面,或者开启新的窗口,你会发现, window.navigator.webdriver又变成了 true。

如下图所示。

移除Selenium中window.navigator.webdriver值

那么是不是可以在每一个页面都打开以后,再次通过webdriver执行上面的js代码,从而实现在每个页面都把 window.navigator.webdriver设置为 undefined呢?也不行。

因为当你执行: driver.get(网址)的时候,浏览器会打开网站,加载页面并运行网站自带的js代码。

所以在你重设 window.navigator.webdriver之前,实际上网站早就已经知道你是模拟浏览器了。

接下来,又有朋友提出,可以通过编写Chrome插件来解决这个问题,让插件里面的js代码在网站自带的所有js代码之前执行。

这样做当然可以,不过有更简单的办法,只需要设置Chromedriver的启动参数即可解决问题。

在启动Chromedriver之前,为Chrome开启实验性功能参数 excludeSwitches,它的值为 [‘enable-automation’],

完整代码如下:

from selenium.webdriver import Chrome
from selenium.webdriver import ChromeOptions
option = ChromeOptions()
option.add_experimental_option('excludeSwitches', ['enable-automation'])
driver = Chrome(options=option)

此时启动的Chrome窗口,在右上角会弹出一个提示,不用管它,不要点击 停用按钮。

再次在开发者工具的Console选项卡中查询 window.navigator.webdriver,可以发现这个值已经自动变成 undefined了。并且无论你打开新的网页,开启新的窗口还是点击链接进入其他页面,都不会让它变成 true。运行效果如下图所示。

移除Selenium中window.navigator.webdriver值

以上就是移除Selenium中window.navigator.webdriver值的详细内容,更多关于window.navigator.webdriver值移除的资料请关注三水点靠木其它相关文章!


Tags in this post...

Python 相关文章推荐
利用python获取某年中每个月的第一天和最后一天
Dec 15 Python
python判断字符串是否是json格式方法分享
Nov 07 Python
使用pygame模块编写贪吃蛇的实例讲解
Feb 05 Python
python3.4.3下逐行读入txt文本并去重的方法
Apr 29 Python
python爬虫之模拟登陆csdn的实例代码
May 18 Python
使用matplotlib画散点图的方法
May 25 Python
Python 3.8 新功能全解
Jul 25 Python
Transpose 数组行列转置的限制方式
Feb 11 Python
Python 实现网课实时监控自动签到、打卡功能
Mar 12 Python
Python ORM框架Peewee用法详解
Apr 29 Python
Python控制台输出俄罗斯方块的方法实例
Apr 17 Python
python识别围棋定位棋盘位置
Jul 26 Python
Django框架模板用法详解
Jun 10 #Python
python库Tsmoothie模块数据平滑化异常点抓取
使用Django框架创建项目
Jun 10 #Python
Python实现信息管理系统
Jun 05 #Python
python实现学员管理系统(面向对象版)
Jun 05 #Python
python实现学生信息管理系统(面向对象)
Jun 05 #Python
Python使用pyecharts控件绘制图表
Jun 05 #Python
You might like
php 正则 过滤html 的超链接
2009/06/02 PHP
PHP 开发环境配置(Zend Server安装)
2010/04/28 PHP
PHP图片上传代码
2013/11/04 PHP
php版小黄鸡simsimi聊天机器人接口分享
2014/01/26 PHP
PHP5.3与5.5废弃与过期函数整理汇总
2014/07/10 PHP
laravel中数据显示方法(默认值和下拉option默认选中)
2019/10/11 PHP
JQuery中SetTimeOut传参问题探讨
2013/05/10 Javascript
JQuery中$(document)是什么意思有什么作用
2014/07/21 Javascript
JavaScript中的单引号和双引号报错的解决方法
2014/09/01 Javascript
浅谈js中的this问题
2017/08/31 Javascript
微信小程序实现点击文字页面跳转功能【附源码下载】
2017/12/12 Javascript
angular基于ng-alain定义自己的select组件示例
2018/02/23 Javascript
express.js中间件说明详解
2019/03/19 Javascript
js实现拖动缓动效果
2020/01/13 Javascript
利用标准库fractions模块让Python支持分数类型的方法详解
2017/08/11 Python
详解Python 序列化Serialize 和 反序列化Deserialize
2017/08/20 Python
python爬虫爬取淘宝商品信息(selenum+phontomjs)
2018/02/24 Python
让Django支持Sql Server作后端数据库的方法
2018/05/29 Python
python统计字母、空格、数字等字符个数的实例
2018/06/29 Python
对numpy数据写入文件的方法讲解
2018/07/09 Python
python实现dijkstra最短路由算法
2019/01/17 Python
详解使用PyInstaller将Pygame库编写的小游戏程序打包为exe文件
2019/08/23 Python
Django自带的加密算法及加密模块详解
2019/12/03 Python
python的help函数如何使用
2020/06/11 Python
python等待10秒执行下一命令的方法
2020/07/19 Python
通过Django Admin+HttpRunner1.5.6实现简易接口测试平台
2020/11/11 Python
JSP和Servlet有哪些相同点和不同点,他们之间的联系是什么?
2015/10/22 面试题
幼儿园教师培训制度
2014/01/16 职场文书
财务工作者先进事迹材料
2014/01/17 职场文书
潘婷洗发水广告词
2014/03/14 职场文书
优秀少先队大队辅导员事迹材料
2014/05/04 职场文书
重阳节慰问信
2015/02/15 职场文书
2015年青年志愿者协会工作总结
2015/04/27 职场文书
培训班开班主持词
2015/07/02 职场文书
转变工作作风心得体会
2016/01/23 职场文书
教你利用Nginx 服务搭建子域环境提升二维地图加载性能的步骤
2021/09/25 Servers