selenium+python配置chrome浏览器的选项的实现


Posted in Python onMarch 18, 2020

1. 背景

在使用selenium浏览器渲染技术,爬取网站信息时,默认情况下就是一个普通的纯净的chrome浏览器,而我们平时在使用浏览器时,经常就添加一些插件,扩展,代理之类的应用。相对应的,当我们用chrome浏览器爬取网站时,可能需要对这个chrome做一些特殊的配置,以满足爬虫的行为。

常用的行为有:

  • 禁止图片和视频的加载:提升网页加载速度。
  • 添加代理:用于翻墙访问某些页面,或者应对IP访问频率限制的反爬技术。
  • 使用移动头:访问移动端的站点,一般这种站点的反爬技术比较薄弱。
  • 添加扩展:像正常使用浏览器一样的功能。
  • 设置编码:应对中文站,防止乱码。
  • 阻止JavaScript执行。
  • ………

2. 环境

  • python 3.6.1
  • 系统:win7
  • IDE:pycharm
  • 安装过chrome浏览器
  • 配置好chromedriver
  • selenium 3.7.0

3. chromeOptions

chromeOptions 是一个配置 chrome 启动是属性的类。通过这个类,我们可以为chrome配置如下参数(这个部分可以通过selenium源码看到):

  • 设置 chrome 二进制文件位置 (binary_location)
  • 添加启动参数 (add_argument)
  • 添加扩展应用 (add_extension, add_encoded_extension)
  • 添加实验性质的设置参数 (add_experimental_option)
  • 设置调试器地址 (debugger_address)

源代码:

# .\Lib\site-packages\selenium\webdriver\chrome\options.py
class Options(object):

  def __init__(self):
    # 设置 chrome 二进制文件位置
    self._binary_location = ''
    # 添加启动参数
    self._arguments = []
    # 添加扩展应用
    self._extension_files = []
    self._extensions = []
    # 添加实验性质的设置参数
    self._experimental_options = {}
    # 设置调试器地址
    self._debugger_address = None

使用案例:

# 设置默认编码为 utf-8,也就是中文

from selenium import webdriver
options = webdriver.ChromeOptions()
options.add_argument('lang=zh_CN.UTF-8')
driver = webdriver.Chrome(chrome_options = options)

4. 常用配置官方网站参考:https://sites.google.com/a/chromium.org/chromedriver/capabilities

4.1. 设置编码格式

# 设置默认编码为 utf-8,也就是中文

from selenium import webdriver
options = webdriver.ChromeOptions()
options.add_argument('lang=zh_CN.UTF-8')
driver = webdriver.Chrome(chrome_options = options)

4.2. 模拟移动设备

移动设备user-agent表格:http://www.fynas.com/ua

因为移动版网站的反爬虫的能力比较弱

# 通过设置user-agent,用来模拟移动设备
# 比如模拟 android QQ浏览器
options.add_argument('user-agent="MQQBrowser/26 Mozilla/5.0 (Linux; U; Android 2.3.7; zh-cn; MB200 Build/GRJ22; CyanogenMod-7) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1"')

# 模拟iPhone 6
options.add_argument('user-agent="Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1"')

4.3. 禁止图片加载

不加载图片的情况下,可以提升爬取速度。

# 禁止图片的加载
from selenium import webdriver

chrome_options = webdriver.ChromeOptions()
prefs = {"profile.managed_default_content_settings.images": 2}
chrome_options.add_experimental_option("prefs", prefs)

# 启动浏览器,并设置好wait
browser = webdriver.Chrome(chrome_options=chrome_options)
browser.set_window_size(configure.windowHeight, configure.windowWidth)  # 根据桌面分辨率来定,主要是为了抓到验证码的截屏
wait = WebDriverWait(browser, timeout = configure.timeoutMain)

4.4. 添加代理

为selenium爬虫添加代理,这个地方尤其需要注意的是,在选择代理时,尽量选择静态IP,才能提升爬取的稳定性。因为如果选择selenium来做爬虫,说明网站的反爬能力比较高(要不然直接上scrapy了),对网页之间的连贯性,cookies,用户状态等有较高的监测。如果使用动态匿名IP,每个IP的存活时间是很短的(1~3分钟)。

from selenium import webdriver
# 静态IP:102.23.1.105:2005
# 阿布云动态IP:http://D37EPSERV96VT4W2:CERU56DAEB345HU90@proxy.abuyun.com:9020
PROXY = "proxy_host:proxy:port"
options = webdriver.ChromeOptions()
desired_capabilities = options.to_capabilities()
desired_capabilities['proxy'] = {
  "httpProxy": PROXY,
  "ftpProxy": PROXY,
  "sslProxy": PROXY,
  "noProxy": None,
  "proxyType": "MANUAL",
  "class": "org.openqa.selenium.Proxy",
  "autodetect": False
}
driver = webdriver.Chrome(desired_capabilities = desired_capabilities)

4.5. 浏览器选项设置

selenium一般打开的是不带扩展的纯净的浏览器,但是有时候我们想对浏览器进行一些设置,比如 设置flash选项的默认值为全局始终允许,清除cookies,清除缓存 之类。

想要实现这个目的,有一种思路,下面以chrome浏览器为例:

在selenium爬虫启动时,首先开一个窗口,在地址栏键入:chrome://settings/content 或 chrome://settings/privacy,然后由程序,像操作普通网页一样,进行设置,保存。

selenium+python配置chrome浏览器的选项的实现

4.6.添加浏览器扩展应用

selenium一般打开的是不带扩展的纯净的浏览器,但是有时候我们爬取数据时需要借助一些插件,比如解析类xpath helper,翻译类,获取额外信息(销量)等。那我们怎么在启动chromedriver时,带上一些我们需要的插件呢?

下面以在chrome中加载Xpath Helper插件为例:

4.6.1. 下载相应的插件Xpath Helper下载地址:https://3water.com/softs/673040.html
如下,是一个 以 crx 为后缀的文件:

selenium+python配置chrome浏览器的选项的实现4.6.2.

将插件路径填入代码中

# 添加xpath helper应用

from selenium import webdriver
chrome_options = webdriver.ChromeOptions()

# 设置好应用扩展
extension_path = 'D:/extension/XPath-Helper_v2.0.2.crx'
chrome_options.add_extension(extension_path)

# 启动浏览器,并设置好wait
browser = webdriver.Chrome(chrome_options=chrome_options)

4.6.3. 结果展示

selenium+python配置chrome浏览器的选项的实现

4.6.4. 注意事项

第一,为了提高爬取速度,尽可能的少加载插件。

第二,有一种方案会加载用户对chrome浏览器的所有配置信息,但是测试并无法使用,如下:

首先进入C:\Users(用户)\你的电脑名称\AppData\Local\Google\Chrome\User Data\Default\Extensions,点开Extensions,里面的文件夹就是安装过的扩展,(记得先把电脑隐藏文件夹显示出来,否则找不到) 但是名字是一堆我看不懂的无序的英文字母,我的办法是一个一个点开找到对应的插件版本号,版本号在chrome Extensions选项里找然后打包你需要的插件:打开chrome的设置,在里面点开扩展程序,选中开发者模式,你安装的插件的下面会出现一个ID,这个ID对应的就是你要打包的插件,然后打包扩展程序,找到对应的文件夹(或者你也可以把这个文件夹复制到电脑任意地方)下面的版本号的文件夹,也就是ID名文件夹内部的那个文件夹,然后点击打包扩展程序,就可以了,会相应的在版本号的同一级地方出现后缀名是crx和pem的文件,这个crx的文件就是我们需要的(不过按照这种方式,在我的本地目录是找不到这样的crx文件,需要单独下载…)。准备工作完成,看代码:

# 第一种方式
# chrome浏览器的扩展程序都在:C:\Users\Administrator\AppData\Local\Google\Chrome\User Data\Profile 2\Extensions\下
chrome_options.add_argument("user-data-dir=C:/Users/Administrator/AppData/Local/Google/Chrome/User Data")
# 加载所有Chrome配置, 用Chrome地址栏输入chrome://version/,查看自己的“个人资料路径”,然后在浏览器启动时,调用这个配置文件,代码如下:
from selenium import webdriver
option = webdriver.ChromeOptions()
option.add_argument('--user-data-dir=C:\Users\Administrator\AppData\Local\Google\Chrome\User Data') #设置成用户自己的数据目录
driver = webdriver.Chrome(chrome_options=option)
# 出现错误结果
第一,所有浏览器窗口,包括自己打开的都会被控制住。
第二,其他动作不起作用,而且会crash。
Traceback (most recent call last):
 File "E:/PyCharmCode/taobaoProductSelenium/taobaoSelenium.py", line 40, in <module>
  # 启动浏览器,并设置好wait
 File "E:\Miniconda\lib\site-packages\selenium\webdriver\chrome\webdriver.py", line 69, in __init__
  desired_capabilities=desired_capabilities)
 File "E:\Miniconda\lib\site-packages\selenium\webdriver\remote\webdriver.py", line 151, in __init__
  self.start_session(desired_capabilities, browser_profile)
 File "E:\Miniconda\lib\site-packages\selenium\webdriver\remote\webdriver.py", line 240, in start_session
  response = self.execute(Command.NEW_SESSION, parameters)
 File "E:\Miniconda\lib\site-packages\selenium\webdriver\remote\webdriver.py", line 308, in execute
  self.error_handler.check_response(response)
 File "E:\Miniconda\lib\site-packages\selenium\webdriver\remote\errorhandler.py", line 194, in check_response
  raise exception_class(message, screen, stacktrace)
selenium.common.exceptions.WebDriverException: Message: unknown error: Chrome failed to start: crashed
 (Driver info: chromedriver=2.32.498550 (9dec58e66c31bcc53a9ce3c7226f0c1c5810906a),platform=Windows NT 6.1.7601 SP1 x86_64)

4.7. 登录时关闭弹出的密码保存提示框

最近在使用chrome登录网站的时候总有密码保存提示框,并不是所有的都会有密码保存提示框,其实只需要设置启动chrome的相关参数就可以避免这种问题。

from time import sleep 
from selenium import webdriver 
from selenium.webdriver.common.by import By
options = webdriver.ChromeOptions() 
prefs = {} 
# 设置这两个参数就可以避免密码提示框的弹出
prefs[“credentials_enable_service”] = False 
prefs[“profile.password_manager_enabled”] = False 
options.add_experimental_option(“prefs”, prefs) 
browser = webdriver.Chrome(chrome_options=options) 
browser.get('https://www.baidu.com/')

5. 其他参数

参考文章:https://3water.com/article/182967.htm

5.1 chrome地址栏命令在Chrome的浏览器地址栏中输入以下命令,就会返回相应的结果。这些命令包括查看内存状态,浏览器状态,网络状态,DNS服务器状态,插件缓存等等。但是需要注意的是这些命令会不停的变动,所以不一定都是好用的。

about:version - 显示当前版本

about:memory - 显示本机浏览器内存使用状况

about:plugins - 显示已安装插件

about:histograms - 显示历史记录

about:dns - 显示DNS状态

about:cache - 显示缓存页面

about:gpu -是否有硬件加速

about:flags -开启一些插件 //使用后弹出这么些东西:“请小心,这些实验可能有风险”,不知会不会搞乱俺的配置啊!

chrome://extensions/ - 查看已经安装的扩展

5.2. chrome实用参数

其他的一些关于Chrome的实用参数及简要的中文说明,使用方法同上4.5.4,当然也可以在shell中使用。

?user-data-dir=”[PATH]” 指定用户文件夹User Data路径,可以把书签这样的用户数据保存在系统分区以外的分区。

?disk-cache-dir=”[PATH]“ 指定缓存Cache路径

?disk-cache-size= 指定Cache大小,单位Byte

?first run 重置到初始状态,第一次运行

?incognito 隐身模式启动

?disable-javascript 禁用Javascript

--omnibox-popup-count=“num” 将地址栏弹出的提示菜单数量改为num个。我都改为15个了。

--user-agent=“xxxxxxxx” 修改HTTP请求头部的Agent字符串,可以通过about:version页面查看修改效果

--disable-plugins 禁止加载所有插件,可以增加速度。可以通过about:plugins页面查看效果

--disable-javascript 禁用JavaScript,如果觉得速度慢在加上这个

--disable-java 禁用java

--start-maximized 启动就最大化

--no-sandbox 取消沙盒模式

--single-process 单进程运行

--process-per-tab 每个标签使用单独进程

--process-per-site 每个站点使用单独进程

--in-process-plugins 插件不启用单独进程

--disable-popup-blocking 禁用弹出拦截

--disable-plugins 禁用插件

--disable-images 禁用图像

--incognito 启动进入隐身模式

--enable-udd-profiles 启用账户切换菜单

--proxy-pac-url 使用pac代理 [via 1/2]

--lang=zh-CN 设置语言为简体中文

--disk-cache-dir 自定义缓存目录

--disk-cache-size 自定义缓存最大值(单位byte)

--media-cache-size 自定义多媒体缓存最大值(单位byte)

--bookmark-menu 在工具 栏增加一个书签按钮

--enable-sync 启用书签同步

?single-process 单进程运行Google Chrome

?start-maximized 启动Google Chrome就最大化

?disable-java 禁止Java

?no-sandbox 非沙盒模式运行

到此这篇关于selenium+python配置chrome浏览器的选项的实现的文章就介绍到这了,更多相关selenium python配置chrome内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
python基础教程之数字处理(math)模块详解
Mar 25 Python
python有证书的加密解密实现方法
Nov 19 Python
深入解析Python中的WSGI接口
May 11 Python
Python判断字符串与大小写转换
Jun 08 Python
Android 兼容性问题:java.lang.UnsupportedOperationException解决办法
Mar 19 Python
django启动uwsgi报错的解决方法
Apr 08 Python
获取python的list中含有重复值的index方法
Jun 27 Python
python程序封装为win32服务的方法
Mar 07 Python
python 检查文件mime类型的方法
Dec 08 Python
flask框架单元测试原理与用法实例分析
Jul 23 Python
Python图像处理之图片文字识别功能(OCR)
Jul 30 Python
tensorflow实现从.ckpt文件中读取任意变量
May 26 Python
python开发实例之python使用Websocket库开发简单聊天工具实例详解(python+Websocket+JS)
Mar 18 #Python
python selenium操作cookie的实现
Mar 18 #Python
Selenium 滚动页面至元素可见的方法
Mar 18 #Python
python字符串判断密码强弱
Mar 18 #Python
详解Python3中的 input() 函数
Mar 18 #Python
Python通过socketserver处理多个链接
Mar 18 #Python
python实现密码强度校验
Mar 18 #Python
You might like
PHP教程 变量定义
2009/10/23 PHP
php新建文件自动编号的思路与实现
2011/06/27 PHP
php微信公众开发之获取周边酒店信息的方法
2014/12/22 PHP
WordPress开发中的get_post_custom()函数使用解析
2016/01/04 PHP
PHP面向对象程序设计OOP继承用法入门示例
2016/12/27 PHP
Ext javascript建立超链接,进行事件处理的实现方法
2009/03/22 Javascript
JavaScript 输入框内容格式验证代码
2010/02/11 Javascript
浅谈javascript的数据类型检测
2010/07/10 Javascript
JavaScript高级程序设计 读书笔记之八 Function类及闭包
2012/02/27 Javascript
js获取select标签的值且兼容IE与firefox
2013/12/30 Javascript
Eclipse去除js(JavaScript)验证错误
2014/02/11 Javascript
jQuery EasyUI Accordion可伸缩面板组件使用详解
2017/02/28 Javascript
JS中offset和匀速动画详解
2018/02/06 Javascript
vue-baidu-map 进入页面自动定位的解决方案(推荐)
2018/04/28 Javascript
jdk1.8+vue elementui实现多级菜单功能
2020/09/24 Javascript
python中ConfigParse模块的用法
2014/09/29 Python
基于python 爬虫爬到含空格的url的处理方法
2018/05/11 Python
python中scikit-learn机器代码实例
2018/08/05 Python
python 读取鼠标点击坐标的实例
2018/12/29 Python
python多线程案例之多任务copy文件完整实例
2019/10/29 Python
python设置表格边框的具体方法
2020/07/17 Python
通过实例了解python__slots__使用方法
2020/09/14 Python
详解基于python的全局与局部序列比对的实现(DNA)
2020/10/07 Python
美国顶级户外凉鞋品牌:Chacos
2017/03/27 全球购物
中专生自我鉴定书范文
2013/12/28 职场文书
不假外出检讨书
2014/01/27 职场文书
国培教师自我鉴定
2014/02/12 职场文书
现金出纳岗位职责
2014/03/15 职场文书
旅游与环境专业求职信
2014/06/05 职场文书
普通话演讲稿
2014/09/03 职场文书
2014年大学宣传部工作总结
2014/12/19 职场文书
幼儿园中班教师个人总结
2015/02/05 职场文书
工程项目合作意向书
2015/05/08 职场文书
2015年幼儿园教育教学工作总结
2015/05/25 职场文书
mysql 带多个条件的查询方式
2021/06/05 MySQL
MongoDB数据库之添删改查
2022/04/26 MongoDB