编程 Python

selenium+python配置chrome浏览器的选项的实现

Posted in Python onMarch 18, 2020

1. 背景

在使用selenium浏览器渲染技术，爬取网站信息时，默认情况下就是一个普通的纯净的chrome浏览器，而我们平时在使用浏览器时，经常就添加一些插件，扩展，代理之类的应用。相对应的，当我们用chrome浏览器爬取网站时，可能需要对这个chrome做一些特殊的配置，以满足爬虫的行为。

常用的行为有：

禁止图片和视频的加载：提升网页加载速度。
添加代理：用于翻墙访问某些页面，或者应对IP访问频率限制的反爬技术。
使用移动头：访问移动端的站点，一般这种站点的反爬技术比较薄弱。
添加扩展：像正常使用浏览器一样的功能。
设置编码：应对中文站，防止乱码。
阻止JavaScript执行。
………

2. 环境

python 3.6.1
系统：win7
IDE：pycharm
安装过chrome浏览器
配置好chromedriver
selenium 3.7.0

3. chromeOptions

chromeOptions 是一个配置 chrome 启动是属性的类。通过这个类，我们可以为chrome配置如下参数（这个部分可以通过selenium源码看到）：

设置 chrome 二进制文件位置 (binary_location)
添加启动参数 (add_argument)
添加扩展应用 (add_extension, add_encoded_extension)
添加实验性质的设置参数 (add_experimental_option)
设置调试器地址 (debugger_address)

源代码：

# .\Lib\site-packages\selenium\webdriver\chrome\options.py
class Options(object):

  def __init__(self):
    # 设置 chrome 二进制文件位置
    self._binary_location = ''
    # 添加启动参数
    self._arguments = []
    # 添加扩展应用
    self._extension_files = []
    self._extensions = []
    # 添加实验性质的设置参数
    self._experimental_options = {}
    # 设置调试器地址
    self._debugger_address = None

使用案例：

# 设置默认编码为 utf-8，也就是中文

from selenium import webdriver
options = webdriver.ChromeOptions()
options.add_argument('lang=zh_CN.UTF-8')
driver = webdriver.Chrome(chrome_options = options)

4. 常用配置官方网站参考：https://sites.google.com/a/chromium.org/chromedriver/capabilities

4.1. 设置编码格式

# 设置默认编码为 utf-8，也就是中文

from selenium import webdriver
options = webdriver.ChromeOptions()
options.add_argument('lang=zh_CN.UTF-8')
driver = webdriver.Chrome(chrome_options = options)

4.2. 模拟移动设备

移动设备user-agent表格：http://www.fynas.com/ua

因为移动版网站的反爬虫的能力比较弱

# 通过设置user-agent，用来模拟移动设备
# 比如模拟 android QQ浏览器
options.add_argument('user-agent="MQQBrowser/26 Mozilla/5.0 (Linux; U; Android 2.3.7; zh-cn; MB200 Build/GRJ22; CyanogenMod-7) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1"')

# 模拟iPhone 6
options.add_argument('user-agent="Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1"')

4.3. 禁止图片加载

不加载图片的情况下，可以提升爬取速度。

# 禁止图片的加载
from selenium import webdriver

chrome_options = webdriver.ChromeOptions()
prefs = {"profile.managed_default_content_settings.images": 2}
chrome_options.add_experimental_option("prefs", prefs)

# 启动浏览器，并设置好wait
browser = webdriver.Chrome(chrome_options=chrome_options)
browser.set_window_size(configure.windowHeight, configure.windowWidth)  # 根据桌面分辨率来定，主要是为了抓到验证码的截屏
wait = WebDriverWait(browser, timeout = configure.timeoutMain)

4.4. 添加代理

为selenium爬虫添加代理，这个地方尤其需要注意的是，在选择代理时，尽量选择静态IP，才能提升爬取的稳定性。因为如果选择selenium来做爬虫，说明网站的反爬能力比较高（要不然直接上scrapy了），对网页之间的连贯性，cookies，用户状态等有较高的监测。如果使用动态匿名IP，每个IP的存活时间是很短的（1~3分钟）。

from selenium import webdriver
# 静态IP：102.23.1.105：2005
# 阿布云动态IP：http://D37EPSERV96VT4W2:CERU56DAEB345HU90@proxy.abuyun.com:9020
PROXY = "proxy_host:proxy:port"
options = webdriver.ChromeOptions()
desired_capabilities = options.to_capabilities()
desired_capabilities['proxy'] = {
  "httpProxy": PROXY,
  "ftpProxy": PROXY,
  "sslProxy": PROXY,
  "noProxy": None,
  "proxyType": "MANUAL",
  "class": "org.openqa.selenium.Proxy",
  "autodetect": False
}
driver = webdriver.Chrome(desired_capabilities = desired_capabilities)

4.5. 浏览器选项设置

selenium一般打开的是不带扩展的纯净的浏览器，但是有时候我们想对浏览器进行一些设置，比如设置flash选项的默认值为全局始终允许，清除cookies，清除缓存之类。

想要实现这个目的，有一种思路，下面以chrome浏览器为例：

在selenium爬虫启动时，首先开一个窗口，在地址栏键入：chrome://settings/content 或 chrome://settings/privacy，然后由程序，像操作普通网页一样，进行设置，保存。

selenium+python配置chrome浏览器的选项的实现

4.6.添加浏览器扩展应用

selenium一般打开的是不带扩展的纯净的浏览器，但是有时候我们爬取数据时需要借助一些插件，比如解析类xpath helper，翻译类，获取额外信息（销量）等。那我们怎么在启动chromedriver时，带上一些我们需要的插件呢？

下面以在chrome中加载Xpath Helper插件为例：

4.6.1. 下载相应的插件Xpath Helper下载地址：https://3water.com/softs/673040.html
如下，是一个以 crx 为后缀的文件：

selenium+python配置chrome浏览器的选项的实现 4.6.2.

将插件路径填入代码中

# 添加xpath helper应用

from selenium import webdriver
chrome_options = webdriver.ChromeOptions()

# 设置好应用扩展
extension_path = 'D:/extension/XPath-Helper_v2.0.2.crx'
chrome_options.add_extension(extension_path)

# 启动浏览器，并设置好wait
browser = webdriver.Chrome(chrome_options=chrome_options)

4.6.3. 结果展示

selenium+python配置chrome浏览器的选项的实现

4.6.4. 注意事项

第一，为了提高爬取速度，尽可能的少加载插件。

第二，有一种方案会加载用户对chrome浏览器的所有配置信息，但是测试并无法使用，如下：

首先进入C:\Users（用户）\你的电脑名称\AppData\Local\Google\Chrome\User Data\Default\Extensions，点开Extensions，里面的文件夹就是安装过的扩展，（记得先把电脑隐藏文件夹显示出来，否则找不到）但是名字是一堆我看不懂的无序的英文字母，我的办法是一个一个点开找到对应的插件版本号，版本号在chrome Extensions选项里找然后打包你需要的插件：打开chrome的设置，在里面点开扩展程序，选中开发者模式，你安装的插件的下面会出现一个ID，这个ID对应的就是你要打包的插件，然后打包扩展程序，找到对应的文件夹（或者你也可以把这个文件夹复制到电脑任意地方）下面的版本号的文件夹，也就是ID名文件夹内部的那个文件夹，然后点击打包扩展程序，就可以了，会相应的在版本号的同一级地方出现后缀名是crx和pem的文件，这个crx的文件就是我们需要的（不过按照这种方式，在我的本地目录是找不到这样的crx文件，需要单独下载…）。准备工作完成，看代码：

# 第一种方式
# chrome浏览器的扩展程序都在：C:\Users\Administrator\AppData\Local\Google\Chrome\User Data\Profile 2\Extensions\下
chrome_options.add_argument("user-data-dir=C:/Users/Administrator/AppData/Local/Google/Chrome/User Data")

# 加载所有Chrome配置， 用Chrome地址栏输入chrome://version/，查看自己的“个人资料路径”，然后在浏览器启动时，调用这个配置文件，代码如下：
from selenium import webdriver
option = webdriver.ChromeOptions()
option.add_argument('--user-data-dir=C:\Users\Administrator\AppData\Local\Google\Chrome\User Data') #设置成用户自己的数据目录
driver = webdriver.Chrome(chrome_options=option)

# 出现错误结果
第一，所有浏览器窗口，包括自己打开的都会被控制住。
第二，其他动作不起作用，而且会crash。
Traceback (most recent call last):
 File "E:/PyCharmCode/taobaoProductSelenium/taobaoSelenium.py", line 40, in <module>
  # 启动浏览器，并设置好wait
 File "E:\Miniconda\lib\site-packages\selenium\webdriver\chrome\webdriver.py", line 69, in __init__
  desired_capabilities=desired_capabilities)
 File "E:\Miniconda\lib\site-packages\selenium\webdriver\remote\webdriver.py", line 151, in __init__
  self.start_session(desired_capabilities, browser_profile)
 File "E:\Miniconda\lib\site-packages\selenium\webdriver\remote\webdriver.py", line 240, in start_session
  response = self.execute(Command.NEW_SESSION, parameters)
 File "E:\Miniconda\lib\site-packages\selenium\webdriver\remote\webdriver.py", line 308, in execute
  self.error_handler.check_response(response)
 File "E:\Miniconda\lib\site-packages\selenium\webdriver\remote\errorhandler.py", line 194, in check_response
  raise exception_class(message, screen, stacktrace)
selenium.common.exceptions.WebDriverException: Message: unknown error: Chrome failed to start: crashed
 (Driver info: chromedriver=2.32.498550 (9dec58e66c31bcc53a9ce3c7226f0c1c5810906a),platform=Windows NT 6.1.7601 SP1 x86_64)

4.7. 登录时关闭弹出的密码保存提示框

最近在使用chrome登录网站的时候总有密码保存提示框，并不是所有的都会有密码保存提示框，其实只需要设置启动chrome的相关参数就可以避免这种问题。

from time import sleep 
from selenium import webdriver 
from selenium.webdriver.common.by import By
options = webdriver.ChromeOptions() 
prefs = {} 
# 设置这两个参数就可以避免密码提示框的弹出
prefs[“credentials_enable_service”] = False 
prefs[“profile.password_manager_enabled”] = False 
options.add_experimental_option(“prefs”, prefs) 
browser = webdriver.Chrome(chrome_options=options) 
browser.get('https://www.baidu.com/')

5. 其他参数

参考文章：https://3water.com/article/182967.htm

5.1 chrome地址栏命令在Chrome的浏览器地址栏中输入以下命令，就会返回相应的结果。这些命令包括查看内存状态，浏览器状态，网络状态，DNS服务器状态，插件缓存等等。但是需要注意的是这些命令会不停的变动，所以不一定都是好用的。

about:version - 显示当前版本

about:memory - 显示本机浏览器内存使用状况

about:plugins - 显示已安装插件

about:histograms - 显示历史记录

about:dns - 显示DNS状态

about:cache - 显示缓存页面

about:gpu -是否有硬件加速

about:flags -开启一些插件 //使用后弹出这么些东西：“请小心，这些实验可能有风险”，不知会不会搞乱俺的配置啊！

chrome://extensions/ - 查看已经安装的扩展

5.2. chrome实用参数

其他的一些关于Chrome的实用参数及简要的中文说明，使用方法同上4.5.4，当然也可以在shell中使用。

?user-data-dir=”[PATH]” 指定用户文件夹User Data路径，可以把书签这样的用户数据保存在系统分区以外的分区。

?disk-cache-dir=”[PATH]“ 指定缓存Cache路径

?disk-cache-size= 指定Cache大小，单位Byte

?first run 重置到初始状态，第一次运行

?incognito 隐身模式启动

?disable-javascript 禁用Javascript

--omnibox-popup-count=“num” 将地址栏弹出的提示菜单数量改为num个。我都改为15个了。

--user-agent=“xxxxxxxx” 修改HTTP请求头部的Agent字符串，可以通过about:version页面查看修改效果

--disable-plugins 禁止加载所有插件，可以增加速度。可以通过about:plugins页面查看效果

--disable-javascript 禁用JavaScript，如果觉得速度慢在加上这个

--disable-java 禁用java

--start-maximized 启动就最大化

--no-sandbox 取消沙盒模式

--single-process 单进程运行

--process-per-tab 每个标签使用单独进程

--process-per-site 每个站点使用单独进程

--in-process-plugins 插件不启用单独进程

--disable-popup-blocking 禁用弹出拦截

--disable-plugins 禁用插件

--disable-images 禁用图像

--incognito 启动进入隐身模式

--enable-udd-profiles 启用账户切换菜单

--proxy-pac-url 使用pac代理 [via 1/2]

--lang=zh-CN 设置语言为简体中文

--disk-cache-dir 自定义缓存目录

--disk-cache-size 自定义缓存最大值（单位byte）

--media-cache-size 自定义多媒体缓存最大值（单位byte）

--bookmark-menu 在工具栏增加一个书签按钮

--enable-sync 启用书签同步

?single-process 单进程运行Google Chrome

?start-maximized 启动Google Chrome就最大化

?disable-java 禁止Java

?no-sandbox 非沙盒模式运行

到此这篇关于selenium+python配置chrome浏览器的选项的实现的文章就介绍到这了,更多相关selenium python配置chrome内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木！

selenium+python配置chrome浏览器的选项的实现

- Author -

Kosmoo

声明：登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述。

Python 相关文章推荐

Python连接mssql数据库编码问题解决方法

Jan 01 Python

python通过wxPython打开一个音频文件并播放的方法

Mar 25 Python

Python中列表的一些基本操作知识汇总

May 20 Python

在CentOS上配置Nginx+Gunicorn+Python+Flask环境的教程

Jun 07 Python

总结用Pdb库调试Python的方式及常用的命令

Aug 18 Python

python的paramiko模块实现远程控制和传输示例

Oct 13 Python

彻底理解Python list切片原理

Oct 27 Python

ubuntu安装sublime3并配置python3环境的方法

Mar 15 Python

python 实现dict转json并保存文件

Dec 05 Python

如何更改 pandas dataframe 中两列的位置

Dec 27 Python

python 使用建议与技巧分享（四）

Aug 18 Python

Python图片检索之以图搜图

May 31 Python

python开发实例之python使用Websocket库开发简单聊天工具实例详解(python+Websocket+JS)

Mar 18 #Python

python selenium操作cookie的实现

Mar 18 #Python

Selenium 滚动页面至元素可见的方法

Mar 18 #Python

python字符串判断密码强弱

Mar 18 #Python

详解Python3中的 input() 函数

Mar 18 #Python

Python通过socketserver处理多个链接

Mar 18 #Python

python实现密码强度校验

Mar 18 #Python