selenium+python配置chrome浏览器的选项的实现


Posted in Python onMarch 18, 2020

1. 背景

在使用selenium浏览器渲染技术,爬取网站信息时,默认情况下就是一个普通的纯净的chrome浏览器,而我们平时在使用浏览器时,经常就添加一些插件,扩展,代理之类的应用。相对应的,当我们用chrome浏览器爬取网站时,可能需要对这个chrome做一些特殊的配置,以满足爬虫的行为。

常用的行为有:

  • 禁止图片和视频的加载:提升网页加载速度。
  • 添加代理:用于翻墙访问某些页面,或者应对IP访问频率限制的反爬技术。
  • 使用移动头:访问移动端的站点,一般这种站点的反爬技术比较薄弱。
  • 添加扩展:像正常使用浏览器一样的功能。
  • 设置编码:应对中文站,防止乱码。
  • 阻止JavaScript执行。
  • ………

2. 环境

  • python 3.6.1
  • 系统:win7
  • IDE:pycharm
  • 安装过chrome浏览器
  • 配置好chromedriver
  • selenium 3.7.0

3. chromeOptions

chromeOptions 是一个配置 chrome 启动是属性的类。通过这个类,我们可以为chrome配置如下参数(这个部分可以通过selenium源码看到):

  • 设置 chrome 二进制文件位置 (binary_location)
  • 添加启动参数 (add_argument)
  • 添加扩展应用 (add_extension, add_encoded_extension)
  • 添加实验性质的设置参数 (add_experimental_option)
  • 设置调试器地址 (debugger_address)

源代码:

# .\Lib\site-packages\selenium\webdriver\chrome\options.py
class Options(object):

  def __init__(self):
    # 设置 chrome 二进制文件位置
    self._binary_location = ''
    # 添加启动参数
    self._arguments = []
    # 添加扩展应用
    self._extension_files = []
    self._extensions = []
    # 添加实验性质的设置参数
    self._experimental_options = {}
    # 设置调试器地址
    self._debugger_address = None

使用案例:

# 设置默认编码为 utf-8,也就是中文

from selenium import webdriver
options = webdriver.ChromeOptions()
options.add_argument('lang=zh_CN.UTF-8')
driver = webdriver.Chrome(chrome_options = options)

4. 常用配置官方网站参考:https://sites.google.com/a/chromium.org/chromedriver/capabilities

4.1. 设置编码格式

# 设置默认编码为 utf-8,也就是中文

from selenium import webdriver
options = webdriver.ChromeOptions()
options.add_argument('lang=zh_CN.UTF-8')
driver = webdriver.Chrome(chrome_options = options)

4.2. 模拟移动设备

移动设备user-agent表格:http://www.fynas.com/ua

因为移动版网站的反爬虫的能力比较弱

# 通过设置user-agent,用来模拟移动设备
# 比如模拟 android QQ浏览器
options.add_argument('user-agent="MQQBrowser/26 Mozilla/5.0 (Linux; U; Android 2.3.7; zh-cn; MB200 Build/GRJ22; CyanogenMod-7) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1"')

# 模拟iPhone 6
options.add_argument('user-agent="Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1"')

4.3. 禁止图片加载

不加载图片的情况下,可以提升爬取速度。

# 禁止图片的加载
from selenium import webdriver

chrome_options = webdriver.ChromeOptions()
prefs = {"profile.managed_default_content_settings.images": 2}
chrome_options.add_experimental_option("prefs", prefs)

# 启动浏览器,并设置好wait
browser = webdriver.Chrome(chrome_options=chrome_options)
browser.set_window_size(configure.windowHeight, configure.windowWidth)  # 根据桌面分辨率来定,主要是为了抓到验证码的截屏
wait = WebDriverWait(browser, timeout = configure.timeoutMain)

4.4. 添加代理

为selenium爬虫添加代理,这个地方尤其需要注意的是,在选择代理时,尽量选择静态IP,才能提升爬取的稳定性。因为如果选择selenium来做爬虫,说明网站的反爬能力比较高(要不然直接上scrapy了),对网页之间的连贯性,cookies,用户状态等有较高的监测。如果使用动态匿名IP,每个IP的存活时间是很短的(1~3分钟)。

from selenium import webdriver
# 静态IP:102.23.1.105:2005
# 阿布云动态IP:http://D37EPSERV96VT4W2:CERU56DAEB345HU90@proxy.abuyun.com:9020
PROXY = "proxy_host:proxy:port"
options = webdriver.ChromeOptions()
desired_capabilities = options.to_capabilities()
desired_capabilities['proxy'] = {
  "httpProxy": PROXY,
  "ftpProxy": PROXY,
  "sslProxy": PROXY,
  "noProxy": None,
  "proxyType": "MANUAL",
  "class": "org.openqa.selenium.Proxy",
  "autodetect": False
}
driver = webdriver.Chrome(desired_capabilities = desired_capabilities)

4.5. 浏览器选项设置

selenium一般打开的是不带扩展的纯净的浏览器,但是有时候我们想对浏览器进行一些设置,比如 设置flash选项的默认值为全局始终允许,清除cookies,清除缓存 之类。

想要实现这个目的,有一种思路,下面以chrome浏览器为例:

在selenium爬虫启动时,首先开一个窗口,在地址栏键入:chrome://settings/content 或 chrome://settings/privacy,然后由程序,像操作普通网页一样,进行设置,保存。

selenium+python配置chrome浏览器的选项的实现

4.6.添加浏览器扩展应用

selenium一般打开的是不带扩展的纯净的浏览器,但是有时候我们爬取数据时需要借助一些插件,比如解析类xpath helper,翻译类,获取额外信息(销量)等。那我们怎么在启动chromedriver时,带上一些我们需要的插件呢?

下面以在chrome中加载Xpath Helper插件为例:

4.6.1. 下载相应的插件Xpath Helper下载地址:https://3water.com/softs/673040.html
如下,是一个 以 crx 为后缀的文件:

selenium+python配置chrome浏览器的选项的实现4.6.2.

将插件路径填入代码中

# 添加xpath helper应用

from selenium import webdriver
chrome_options = webdriver.ChromeOptions()

# 设置好应用扩展
extension_path = 'D:/extension/XPath-Helper_v2.0.2.crx'
chrome_options.add_extension(extension_path)

# 启动浏览器,并设置好wait
browser = webdriver.Chrome(chrome_options=chrome_options)

4.6.3. 结果展示

selenium+python配置chrome浏览器的选项的实现

4.6.4. 注意事项

第一,为了提高爬取速度,尽可能的少加载插件。

第二,有一种方案会加载用户对chrome浏览器的所有配置信息,但是测试并无法使用,如下:

首先进入C:\Users(用户)\你的电脑名称\AppData\Local\Google\Chrome\User Data\Default\Extensions,点开Extensions,里面的文件夹就是安装过的扩展,(记得先把电脑隐藏文件夹显示出来,否则找不到) 但是名字是一堆我看不懂的无序的英文字母,我的办法是一个一个点开找到对应的插件版本号,版本号在chrome Extensions选项里找然后打包你需要的插件:打开chrome的设置,在里面点开扩展程序,选中开发者模式,你安装的插件的下面会出现一个ID,这个ID对应的就是你要打包的插件,然后打包扩展程序,找到对应的文件夹(或者你也可以把这个文件夹复制到电脑任意地方)下面的版本号的文件夹,也就是ID名文件夹内部的那个文件夹,然后点击打包扩展程序,就可以了,会相应的在版本号的同一级地方出现后缀名是crx和pem的文件,这个crx的文件就是我们需要的(不过按照这种方式,在我的本地目录是找不到这样的crx文件,需要单独下载…)。准备工作完成,看代码:

# 第一种方式
# chrome浏览器的扩展程序都在:C:\Users\Administrator\AppData\Local\Google\Chrome\User Data\Profile 2\Extensions\下
chrome_options.add_argument("user-data-dir=C:/Users/Administrator/AppData/Local/Google/Chrome/User Data")
# 加载所有Chrome配置, 用Chrome地址栏输入chrome://version/,查看自己的“个人资料路径”,然后在浏览器启动时,调用这个配置文件,代码如下:
from selenium import webdriver
option = webdriver.ChromeOptions()
option.add_argument('--user-data-dir=C:\Users\Administrator\AppData\Local\Google\Chrome\User Data') #设置成用户自己的数据目录
driver = webdriver.Chrome(chrome_options=option)
# 出现错误结果
第一,所有浏览器窗口,包括自己打开的都会被控制住。
第二,其他动作不起作用,而且会crash。
Traceback (most recent call last):
 File "E:/PyCharmCode/taobaoProductSelenium/taobaoSelenium.py", line 40, in <module>
  # 启动浏览器,并设置好wait
 File "E:\Miniconda\lib\site-packages\selenium\webdriver\chrome\webdriver.py", line 69, in __init__
  desired_capabilities=desired_capabilities)
 File "E:\Miniconda\lib\site-packages\selenium\webdriver\remote\webdriver.py", line 151, in __init__
  self.start_session(desired_capabilities, browser_profile)
 File "E:\Miniconda\lib\site-packages\selenium\webdriver\remote\webdriver.py", line 240, in start_session
  response = self.execute(Command.NEW_SESSION, parameters)
 File "E:\Miniconda\lib\site-packages\selenium\webdriver\remote\webdriver.py", line 308, in execute
  self.error_handler.check_response(response)
 File "E:\Miniconda\lib\site-packages\selenium\webdriver\remote\errorhandler.py", line 194, in check_response
  raise exception_class(message, screen, stacktrace)
selenium.common.exceptions.WebDriverException: Message: unknown error: Chrome failed to start: crashed
 (Driver info: chromedriver=2.32.498550 (9dec58e66c31bcc53a9ce3c7226f0c1c5810906a),platform=Windows NT 6.1.7601 SP1 x86_64)

4.7. 登录时关闭弹出的密码保存提示框

最近在使用chrome登录网站的时候总有密码保存提示框,并不是所有的都会有密码保存提示框,其实只需要设置启动chrome的相关参数就可以避免这种问题。

from time import sleep 
from selenium import webdriver 
from selenium.webdriver.common.by import By
options = webdriver.ChromeOptions() 
prefs = {} 
# 设置这两个参数就可以避免密码提示框的弹出
prefs[“credentials_enable_service”] = False 
prefs[“profile.password_manager_enabled”] = False 
options.add_experimental_option(“prefs”, prefs) 
browser = webdriver.Chrome(chrome_options=options) 
browser.get('https://www.baidu.com/')

5. 其他参数

参考文章:https://3water.com/article/182967.htm

5.1 chrome地址栏命令在Chrome的浏览器地址栏中输入以下命令,就会返回相应的结果。这些命令包括查看内存状态,浏览器状态,网络状态,DNS服务器状态,插件缓存等等。但是需要注意的是这些命令会不停的变动,所以不一定都是好用的。

about:version - 显示当前版本

about:memory - 显示本机浏览器内存使用状况

about:plugins - 显示已安装插件

about:histograms - 显示历史记录

about:dns - 显示DNS状态

about:cache - 显示缓存页面

about:gpu -是否有硬件加速

about:flags -开启一些插件 //使用后弹出这么些东西:“请小心,这些实验可能有风险”,不知会不会搞乱俺的配置啊!

chrome://extensions/ - 查看已经安装的扩展

5.2. chrome实用参数

其他的一些关于Chrome的实用参数及简要的中文说明,使用方法同上4.5.4,当然也可以在shell中使用。

?user-data-dir=”[PATH]” 指定用户文件夹User Data路径,可以把书签这样的用户数据保存在系统分区以外的分区。

?disk-cache-dir=”[PATH]“ 指定缓存Cache路径

?disk-cache-size= 指定Cache大小,单位Byte

?first run 重置到初始状态,第一次运行

?incognito 隐身模式启动

?disable-javascript 禁用Javascript

--omnibox-popup-count=“num” 将地址栏弹出的提示菜单数量改为num个。我都改为15个了。

--user-agent=“xxxxxxxx” 修改HTTP请求头部的Agent字符串,可以通过about:version页面查看修改效果

--disable-plugins 禁止加载所有插件,可以增加速度。可以通过about:plugins页面查看效果

--disable-javascript 禁用JavaScript,如果觉得速度慢在加上这个

--disable-java 禁用java

--start-maximized 启动就最大化

--no-sandbox 取消沙盒模式

--single-process 单进程运行

--process-per-tab 每个标签使用单独进程

--process-per-site 每个站点使用单独进程

--in-process-plugins 插件不启用单独进程

--disable-popup-blocking 禁用弹出拦截

--disable-plugins 禁用插件

--disable-images 禁用图像

--incognito 启动进入隐身模式

--enable-udd-profiles 启用账户切换菜单

--proxy-pac-url 使用pac代理 [via 1/2]

--lang=zh-CN 设置语言为简体中文

--disk-cache-dir 自定义缓存目录

--disk-cache-size 自定义缓存最大值(单位byte)

--media-cache-size 自定义多媒体缓存最大值(单位byte)

--bookmark-menu 在工具 栏增加一个书签按钮

--enable-sync 启用书签同步

?single-process 单进程运行Google Chrome

?start-maximized 启动Google Chrome就最大化

?disable-java 禁止Java

?no-sandbox 非沙盒模式运行

到此这篇关于selenium+python配置chrome浏览器的选项的实现的文章就介绍到这了,更多相关selenium python配置chrome内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
python正则匹配查询港澳通行证办理进度示例分享
Dec 27 Python
python快速查找算法应用实例
Sep 26 Python
详解Python 数据库 (sqlite3)应用
Dec 07 Python
Python实现的快速排序算法详解
Aug 01 Python
python opencv 直方图反向投影的方法
Feb 24 Python
通过Pandas读取大文件的实例
Jun 07 Python
python爬取足球直播吧五大联赛积分榜
Jun 13 Python
python执行CMD指令,并获取返回的方法
Dec 19 Python
pymysql 开启调试模式的实现
Sep 24 Python
Pycharm中如何关掉python console
Oct 27 Python
python的setattr函数实例用法
Dec 16 Python
教你如何使用Python开发一个钉钉群应答机器人
Jun 21 Python
python开发实例之python使用Websocket库开发简单聊天工具实例详解(python+Websocket+JS)
Mar 18 #Python
python selenium操作cookie的实现
Mar 18 #Python
Selenium 滚动页面至元素可见的方法
Mar 18 #Python
python字符串判断密码强弱
Mar 18 #Python
详解Python3中的 input() 函数
Mar 18 #Python
Python通过socketserver处理多个链接
Mar 18 #Python
python实现密码强度校验
Mar 18 #Python
You might like
完美利用Yii2微信后台开发的系列总结
2016/07/18 PHP
PHP实现的迪科斯彻(Dijkstra)最短路径算法实例
2017/09/16 PHP
PHP实现微信商户支付企业付款到零钱功能
2018/09/30 PHP
雄兵连第三季海报曝光,艾妮熙德成主角,蔷薇新造型
2021/03/09 国漫
索趣科技的答案
2007/02/07 Javascript
IE图片缓存document.execCommand(&quot;BackgroundImageCache&quot;,false,true)
2011/03/01 Javascript
实例讲解jQuery中对事件的命名空间的运用
2016/05/24 Javascript
JavaScript动态数量的文件上传控件
2016/11/18 Javascript
JS实现京东首页之页面顶部、Logo和搜索框功能
2017/01/12 Javascript
js实现数组去重方法及效率?Ρ? target=
2017/02/14 Javascript
基于vue+ bootstrap实现图片上传图片展示功能
2017/05/17 Javascript
原生JS实现列表内容自动向上滚动效果
2019/05/22 Javascript
ant-design表单处理和常用方法及自定义验证操作
2020/10/27 Javascript
js闭包和垃圾回收机制示例详解
2021/03/01 Javascript
学习python之编写简单乘法口诀表实现代码
2016/02/27 Python
详细介绍Python的鸭子类型
2016/09/12 Python
Python中函数及默认参数的定义与调用操作实例分析
2017/07/25 Python
python爬虫URL重试机制的实现方法(python2.7以及python3.5)
2018/12/18 Python
使用k8s部署Django项目的方法步骤
2019/01/14 Python
Python深拷贝与浅拷贝用法实例分析
2019/05/05 Python
详解pandas删除缺失数据(pd.dropna()方法)
2019/06/25 Python
python cv2读取rtsp实时码流按时生成连续视频文件方式
2019/12/25 Python
Python模块/包/库安装的六种方法及区别
2020/02/24 Python
Kidsroom台湾:来自德国的婴儿用品
2017/12/11 全球购物
公务员职业生涯规划书范文  
2014/01/19 职场文书
鲜花方阵解说词
2014/02/13 职场文书
病媒生物防治方案
2014/05/13 职场文书
保护地球的标语
2014/06/17 职场文书
县委常委班子对照检查材料思想汇报
2014/09/28 职场文书
交通事故赔偿协议书
2014/10/16 职场文书
医院护士工作检讨书
2014/10/26 职场文书
民事赔偿协议书
2014/11/02 职场文书
2015年消费者权益日活动总结
2015/02/09 职场文书
八年级数学教学反思
2016/02/17 职场文书
聊聊pytorch测试的时候为何要加上model.eval()
2021/05/23 Python
零基础学java之带参数以及返回值的方法
2022/04/10 Java/Android