selenium+python配置chrome浏览器的选项的实现


Posted in Python onMarch 18, 2020

1. 背景

在使用selenium浏览器渲染技术,爬取网站信息时,默认情况下就是一个普通的纯净的chrome浏览器,而我们平时在使用浏览器时,经常就添加一些插件,扩展,代理之类的应用。相对应的,当我们用chrome浏览器爬取网站时,可能需要对这个chrome做一些特殊的配置,以满足爬虫的行为。

常用的行为有:

  • 禁止图片和视频的加载:提升网页加载速度。
  • 添加代理:用于翻墙访问某些页面,或者应对IP访问频率限制的反爬技术。
  • 使用移动头:访问移动端的站点,一般这种站点的反爬技术比较薄弱。
  • 添加扩展:像正常使用浏览器一样的功能。
  • 设置编码:应对中文站,防止乱码。
  • 阻止JavaScript执行。
  • ………

2. 环境

  • python 3.6.1
  • 系统:win7
  • IDE:pycharm
  • 安装过chrome浏览器
  • 配置好chromedriver
  • selenium 3.7.0

3. chromeOptions

chromeOptions 是一个配置 chrome 启动是属性的类。通过这个类,我们可以为chrome配置如下参数(这个部分可以通过selenium源码看到):

  • 设置 chrome 二进制文件位置 (binary_location)
  • 添加启动参数 (add_argument)
  • 添加扩展应用 (add_extension, add_encoded_extension)
  • 添加实验性质的设置参数 (add_experimental_option)
  • 设置调试器地址 (debugger_address)

源代码:

# .\Lib\site-packages\selenium\webdriver\chrome\options.py
class Options(object):

  def __init__(self):
    # 设置 chrome 二进制文件位置
    self._binary_location = ''
    # 添加启动参数
    self._arguments = []
    # 添加扩展应用
    self._extension_files = []
    self._extensions = []
    # 添加实验性质的设置参数
    self._experimental_options = {}
    # 设置调试器地址
    self._debugger_address = None

使用案例:

# 设置默认编码为 utf-8,也就是中文

from selenium import webdriver
options = webdriver.ChromeOptions()
options.add_argument('lang=zh_CN.UTF-8')
driver = webdriver.Chrome(chrome_options = options)

4. 常用配置官方网站参考:https://sites.google.com/a/chromium.org/chromedriver/capabilities

4.1. 设置编码格式

# 设置默认编码为 utf-8,也就是中文

from selenium import webdriver
options = webdriver.ChromeOptions()
options.add_argument('lang=zh_CN.UTF-8')
driver = webdriver.Chrome(chrome_options = options)

4.2. 模拟移动设备

移动设备user-agent表格:http://www.fynas.com/ua

因为移动版网站的反爬虫的能力比较弱

# 通过设置user-agent,用来模拟移动设备
# 比如模拟 android QQ浏览器
options.add_argument('user-agent="MQQBrowser/26 Mozilla/5.0 (Linux; U; Android 2.3.7; zh-cn; MB200 Build/GRJ22; CyanogenMod-7) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1"')

# 模拟iPhone 6
options.add_argument('user-agent="Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1"')

4.3. 禁止图片加载

不加载图片的情况下,可以提升爬取速度。

# 禁止图片的加载
from selenium import webdriver

chrome_options = webdriver.ChromeOptions()
prefs = {"profile.managed_default_content_settings.images": 2}
chrome_options.add_experimental_option("prefs", prefs)

# 启动浏览器,并设置好wait
browser = webdriver.Chrome(chrome_options=chrome_options)
browser.set_window_size(configure.windowHeight, configure.windowWidth)  # 根据桌面分辨率来定,主要是为了抓到验证码的截屏
wait = WebDriverWait(browser, timeout = configure.timeoutMain)

4.4. 添加代理

为selenium爬虫添加代理,这个地方尤其需要注意的是,在选择代理时,尽量选择静态IP,才能提升爬取的稳定性。因为如果选择selenium来做爬虫,说明网站的反爬能力比较高(要不然直接上scrapy了),对网页之间的连贯性,cookies,用户状态等有较高的监测。如果使用动态匿名IP,每个IP的存活时间是很短的(1~3分钟)。

from selenium import webdriver
# 静态IP:102.23.1.105:2005
# 阿布云动态IP:http://D37EPSERV96VT4W2:CERU56DAEB345HU90@proxy.abuyun.com:9020
PROXY = "proxy_host:proxy:port"
options = webdriver.ChromeOptions()
desired_capabilities = options.to_capabilities()
desired_capabilities['proxy'] = {
  "httpProxy": PROXY,
  "ftpProxy": PROXY,
  "sslProxy": PROXY,
  "noProxy": None,
  "proxyType": "MANUAL",
  "class": "org.openqa.selenium.Proxy",
  "autodetect": False
}
driver = webdriver.Chrome(desired_capabilities = desired_capabilities)

4.5. 浏览器选项设置

selenium一般打开的是不带扩展的纯净的浏览器,但是有时候我们想对浏览器进行一些设置,比如 设置flash选项的默认值为全局始终允许,清除cookies,清除缓存 之类。

想要实现这个目的,有一种思路,下面以chrome浏览器为例:

在selenium爬虫启动时,首先开一个窗口,在地址栏键入:chrome://settings/content 或 chrome://settings/privacy,然后由程序,像操作普通网页一样,进行设置,保存。

selenium+python配置chrome浏览器的选项的实现

4.6.添加浏览器扩展应用

selenium一般打开的是不带扩展的纯净的浏览器,但是有时候我们爬取数据时需要借助一些插件,比如解析类xpath helper,翻译类,获取额外信息(销量)等。那我们怎么在启动chromedriver时,带上一些我们需要的插件呢?

下面以在chrome中加载Xpath Helper插件为例:

4.6.1. 下载相应的插件Xpath Helper下载地址:https://3water.com/softs/673040.html
如下,是一个 以 crx 为后缀的文件:

selenium+python配置chrome浏览器的选项的实现4.6.2.

将插件路径填入代码中

# 添加xpath helper应用

from selenium import webdriver
chrome_options = webdriver.ChromeOptions()

# 设置好应用扩展
extension_path = 'D:/extension/XPath-Helper_v2.0.2.crx'
chrome_options.add_extension(extension_path)

# 启动浏览器,并设置好wait
browser = webdriver.Chrome(chrome_options=chrome_options)

4.6.3. 结果展示

selenium+python配置chrome浏览器的选项的实现

4.6.4. 注意事项

第一,为了提高爬取速度,尽可能的少加载插件。

第二,有一种方案会加载用户对chrome浏览器的所有配置信息,但是测试并无法使用,如下:

首先进入C:\Users(用户)\你的电脑名称\AppData\Local\Google\Chrome\User Data\Default\Extensions,点开Extensions,里面的文件夹就是安装过的扩展,(记得先把电脑隐藏文件夹显示出来,否则找不到) 但是名字是一堆我看不懂的无序的英文字母,我的办法是一个一个点开找到对应的插件版本号,版本号在chrome Extensions选项里找然后打包你需要的插件:打开chrome的设置,在里面点开扩展程序,选中开发者模式,你安装的插件的下面会出现一个ID,这个ID对应的就是你要打包的插件,然后打包扩展程序,找到对应的文件夹(或者你也可以把这个文件夹复制到电脑任意地方)下面的版本号的文件夹,也就是ID名文件夹内部的那个文件夹,然后点击打包扩展程序,就可以了,会相应的在版本号的同一级地方出现后缀名是crx和pem的文件,这个crx的文件就是我们需要的(不过按照这种方式,在我的本地目录是找不到这样的crx文件,需要单独下载…)。准备工作完成,看代码:

# 第一种方式
# chrome浏览器的扩展程序都在:C:\Users\Administrator\AppData\Local\Google\Chrome\User Data\Profile 2\Extensions\下
chrome_options.add_argument("user-data-dir=C:/Users/Administrator/AppData/Local/Google/Chrome/User Data")
# 加载所有Chrome配置, 用Chrome地址栏输入chrome://version/,查看自己的“个人资料路径”,然后在浏览器启动时,调用这个配置文件,代码如下:
from selenium import webdriver
option = webdriver.ChromeOptions()
option.add_argument('--user-data-dir=C:\Users\Administrator\AppData\Local\Google\Chrome\User Data') #设置成用户自己的数据目录
driver = webdriver.Chrome(chrome_options=option)
# 出现错误结果
第一,所有浏览器窗口,包括自己打开的都会被控制住。
第二,其他动作不起作用,而且会crash。
Traceback (most recent call last):
 File "E:/PyCharmCode/taobaoProductSelenium/taobaoSelenium.py", line 40, in <module>
  # 启动浏览器,并设置好wait
 File "E:\Miniconda\lib\site-packages\selenium\webdriver\chrome\webdriver.py", line 69, in __init__
  desired_capabilities=desired_capabilities)
 File "E:\Miniconda\lib\site-packages\selenium\webdriver\remote\webdriver.py", line 151, in __init__
  self.start_session(desired_capabilities, browser_profile)
 File "E:\Miniconda\lib\site-packages\selenium\webdriver\remote\webdriver.py", line 240, in start_session
  response = self.execute(Command.NEW_SESSION, parameters)
 File "E:\Miniconda\lib\site-packages\selenium\webdriver\remote\webdriver.py", line 308, in execute
  self.error_handler.check_response(response)
 File "E:\Miniconda\lib\site-packages\selenium\webdriver\remote\errorhandler.py", line 194, in check_response
  raise exception_class(message, screen, stacktrace)
selenium.common.exceptions.WebDriverException: Message: unknown error: Chrome failed to start: crashed
 (Driver info: chromedriver=2.32.498550 (9dec58e66c31bcc53a9ce3c7226f0c1c5810906a),platform=Windows NT 6.1.7601 SP1 x86_64)

4.7. 登录时关闭弹出的密码保存提示框

最近在使用chrome登录网站的时候总有密码保存提示框,并不是所有的都会有密码保存提示框,其实只需要设置启动chrome的相关参数就可以避免这种问题。

from time import sleep 
from selenium import webdriver 
from selenium.webdriver.common.by import By
options = webdriver.ChromeOptions() 
prefs = {} 
# 设置这两个参数就可以避免密码提示框的弹出
prefs[“credentials_enable_service”] = False 
prefs[“profile.password_manager_enabled”] = False 
options.add_experimental_option(“prefs”, prefs) 
browser = webdriver.Chrome(chrome_options=options) 
browser.get('https://www.baidu.com/')

5. 其他参数

参考文章:https://3water.com/article/182967.htm

5.1 chrome地址栏命令在Chrome的浏览器地址栏中输入以下命令,就会返回相应的结果。这些命令包括查看内存状态,浏览器状态,网络状态,DNS服务器状态,插件缓存等等。但是需要注意的是这些命令会不停的变动,所以不一定都是好用的。

about:version - 显示当前版本

about:memory - 显示本机浏览器内存使用状况

about:plugins - 显示已安装插件

about:histograms - 显示历史记录

about:dns - 显示DNS状态

about:cache - 显示缓存页面

about:gpu -是否有硬件加速

about:flags -开启一些插件 //使用后弹出这么些东西:“请小心,这些实验可能有风险”,不知会不会搞乱俺的配置啊!

chrome://extensions/ - 查看已经安装的扩展

5.2. chrome实用参数

其他的一些关于Chrome的实用参数及简要的中文说明,使用方法同上4.5.4,当然也可以在shell中使用。

?user-data-dir=”[PATH]” 指定用户文件夹User Data路径,可以把书签这样的用户数据保存在系统分区以外的分区。

?disk-cache-dir=”[PATH]“ 指定缓存Cache路径

?disk-cache-size= 指定Cache大小,单位Byte

?first run 重置到初始状态,第一次运行

?incognito 隐身模式启动

?disable-javascript 禁用Javascript

--omnibox-popup-count=“num” 将地址栏弹出的提示菜单数量改为num个。我都改为15个了。

--user-agent=“xxxxxxxx” 修改HTTP请求头部的Agent字符串,可以通过about:version页面查看修改效果

--disable-plugins 禁止加载所有插件,可以增加速度。可以通过about:plugins页面查看效果

--disable-javascript 禁用JavaScript,如果觉得速度慢在加上这个

--disable-java 禁用java

--start-maximized 启动就最大化

--no-sandbox 取消沙盒模式

--single-process 单进程运行

--process-per-tab 每个标签使用单独进程

--process-per-site 每个站点使用单独进程

--in-process-plugins 插件不启用单独进程

--disable-popup-blocking 禁用弹出拦截

--disable-plugins 禁用插件

--disable-images 禁用图像

--incognito 启动进入隐身模式

--enable-udd-profiles 启用账户切换菜单

--proxy-pac-url 使用pac代理 [via 1/2]

--lang=zh-CN 设置语言为简体中文

--disk-cache-dir 自定义缓存目录

--disk-cache-size 自定义缓存最大值(单位byte)

--media-cache-size 自定义多媒体缓存最大值(单位byte)

--bookmark-menu 在工具 栏增加一个书签按钮

--enable-sync 启用书签同步

?single-process 单进程运行Google Chrome

?start-maximized 启动Google Chrome就最大化

?disable-java 禁止Java

?no-sandbox 非沙盒模式运行

到此这篇关于selenium+python配置chrome浏览器的选项的实现的文章就介绍到这了,更多相关selenium python配置chrome内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
Python中的with语句与上下文管理器学习总结
Jun 28 Python
放弃 Python 转向 Go语言有人给出了 9 大理由
Oct 20 Python
Python实现一个Git日志统计分析的小工具
Dec 14 Python
python+matplotlib实现动态绘制图片实例代码(交互式绘图)
Jan 20 Python
利用python实现微信头像加红色数字功能
Mar 26 Python
Python安装Flask环境及简单应用示例
May 03 Python
Python3 执行Linux Bash命令的方法
Jul 12 Python
详解一种用django_cache实现分布式锁的方式
Sep 01 Python
pytorch torch.expand和torch.repeat的区别详解
Nov 05 Python
Python模块/包/库安装的六种方法及区别
Feb 24 Python
Python如何实现自带HTTP文件传输服务
Jul 08 Python
简单介绍Python的第三方库yaml
Jun 18 Python
python开发实例之python使用Websocket库开发简单聊天工具实例详解(python+Websocket+JS)
Mar 18 #Python
python selenium操作cookie的实现
Mar 18 #Python
Selenium 滚动页面至元素可见的方法
Mar 18 #Python
python字符串判断密码强弱
Mar 18 #Python
详解Python3中的 input() 函数
Mar 18 #Python
Python通过socketserver处理多个链接
Mar 18 #Python
python实现密码强度校验
Mar 18 #Python
You might like
PHP引用(&amp;)各种使用方法实例详解
2014/03/20 PHP
PHP生成网站桌面快捷方式代码分享
2014/10/11 PHP
php简单实现MVC
2015/02/05 PHP
WordPress开发中自定义菜单的相关PHP函数使用简介
2016/01/05 PHP
PHP实现SMTP邮件的发送实例
2018/09/27 PHP
thinkphp框架使用JWTtoken的方法详解
2019/10/10 PHP
PHP强制转化的形式整理
2020/05/22 PHP
jQuery 使用手册(一)
2009/09/23 Javascript
js去字符串前后空格5种实现方法及比较
2013/04/03 Javascript
一个CSS+jQuery实现的放大缩小动画效果
2014/02/19 Javascript
Jquery实现图片预加载与延时加载的方法
2014/12/22 Javascript
jQuery拖拽插件gridster使用指南
2015/04/21 Javascript
js+html5实现canvas绘制镂空字体文本的方法
2015/06/05 Javascript
Vue.js第一天学习笔记(数据的双向绑定、常用指令)
2016/12/01 Javascript
JS 封装父页面子页面交互接口的实例代码
2019/06/25 Javascript
微信小程序实现动态列表项的顺序加载动画
2019/07/25 Javascript
vue实现购物车小案例
2019/09/27 Javascript
Nodejs技巧之Exceljs表格操作用法示例
2019/11/06 NodeJs
[46:55]Ti4 冒泡赛第二轮 LGD vs C9
2014/07/14 DOTA
python+matplotlib实现动态绘制图片实例代码(交互式绘图)
2018/01/20 Python
OpenCV+python手势识别框架和实例讲解
2018/08/03 Python
Python3实现爬虫爬取赶集网列表功能【基于request和BeautifulSoup模块】
2018/12/05 Python
不归路系列:Python入门之旅-一定要注意缩进!!!(推荐)
2019/04/16 Python
djano一对一、多对多、分页实例代码
2019/08/16 Python
HTML5实现晶莹剔透的雨滴特效
2014/05/14 HTML / CSS
Ibatis的核心配置文件都有什么
2014/09/08 面试题
商场端午节活动方案
2014/01/29 职场文书
初中三年毕业生的自我评价分享
2014/02/14 职场文书
保险公司年会主持词
2014/03/22 职场文书
初中英语演讲稿
2014/04/29 职场文书
煤矿安全生产标语
2014/06/06 职场文书
团日活动总结模板
2014/06/25 职场文书
2014年医德医风工作总结
2014/11/13 职场文书
户外活动总结
2015/02/04 职场文书
MySQL 常见存储引擎的优劣
2021/06/02 MySQL
Win10 Anaconda安装python-pcl
2022/04/29 Servers