Python爬虫基础初探selenium


Posted in Python onMay 31, 2021

Python爬虫、数据分析、网站开发等案例教程视频免费在线观看

https://space.bilibili.com/523606542

Selenium

Selenium是一个Web的自动化测试工具,最初是为网站自动化测试而开发的,就像玩游戏用的按键精灵,可以按指定的命令自动操作。

Selenium测试工具直接操控浏览器中,就像真正的用户在操作一样。Selenium可以根据的指令,让浏览器自动加载页面,获取需要的数据,甚至页面截屏,或者判断网站上某些动作是否发生等。

selenium的用途

  (1)、selenium可以驱动浏览器自动执行自定义好的逻辑代码,也就是可以通过代码完全模拟成人类使用浏览器自动访问目标站点并操作,那我们也可以拿它来做爬虫。

  (2)、selenium本质上是通过驱动浏览器,完全模拟浏览器的操作,比如跳转、输入、点击、下拉等...进而拿到网页渲染之后的结果,可支持多种浏览器

selenium是优缺点

  (1)优点
    优点就是可以帮我们避开一系列复杂的通信流程,例如在我们之前学习的requests模块,那么requests模块在模拟请求的时候是不是需要把素有的通信流程都分析完成后才能通过请求,然后返回响应。假如目标站点有一系列复杂的通信流程,例如的登录时的滑动验证等...那么你使用requests模块的时候是不是就特别麻烦了。不过你也不需要担心,因为网站的反爬策略越高,那么用户的体验效果就越差,所以网站都需要在用户的淫威之下降低安全策略。
    再看一点requests请求库能不能执行js?是不是不能呀!那么如果你的网站需要发送ajax请求,异步获取数据渲染到页面上,是不是就需要使用js发送请求了。那浏览器的特点是什么?是不是可以直接访问目标站点,然后获取对方的数据,从而渲染到页面上。那这些就是使用selenium的好处!
  (2)缺点
    使用selenium本质上是驱动浏览器对目标站点发送请求,那浏览器在访问目标站点的时候,是不是都需要把静态资源都加载完毕。html、css、js这些文件是不是都要等待它加载完成。是不是速度特别慢。那用它的坏处就是效率极低!所以我们一般用它来做登录验证。

1. Selenium工作原理

Python爬虫基础初探selenium


 

如图所示,通过Python来控制Selenium,然后让Selenium 控制浏览器,操纵浏览器,这样就实现了使用Python间接的操控浏览器。

1.1 Selenium配置

Selenium支持多种浏览器,最常见的就是火狐和谷歌浏览器。首先在电脑上下载浏览器,浏览器版本不宜过新。

火狐:截图如下

Python爬虫基础初探selenium

谷歌:截图如下

Python爬虫基础初探selenium

1.2 浏览器驱动

Selenium具体怎么就能操纵浏览器呢?这要归功于浏览器驱动,Selenium可以通过API接口实现和浏览器驱动的交互,进而实现和浏览器的交互。所以要配置浏览器驱动。

火狐驱动下载地址:
http://npm.taobao.org/mirrors/geckodriver/
谷歌驱动下载地址:
https://npm.taobao.org/mirrors/chromedriver/

配置浏览器驱动:

将下载好的浏览器驱动解压,将解压出的exe文件放到Python的安装目录下,也就是和python.exe同目录即可。

Python爬虫基础初探selenium

1.3 使用Selenium

安装selenium模块,python借助这个模块驱动浏览器,使用如下命令行安装这个模块即可

pip install selenium

2 快速入门

# 打开百度首页
 
from selenium import webdriver
 
driver = webdriver.chrome()
url = 'https : / /www.baidu . com/ '
driver.get(url)
#打开get就类似与在浏览器地址栏里面放入网址
driver.get(url)
#退出浏览器
driver.quit()

以上就是Python爬虫基础初探selenium的详细内容,更多关于Python爬虫基础selenium的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
Python类的专用方法实例分析
Jan 09 Python
整理Python最基本的操作字典的方法
Apr 24 Python
简介Python设计模式中的代理模式与模板方法模式编程
Feb 02 Python
详解python进行mp3格式判断
Dec 23 Python
python merge、concat合并数据集的实例讲解
Apr 12 Python
对python:循环定义多个变量的实例详解
Jan 20 Python
python lxml中etree的简单应用
May 10 Python
Apache,wsgi,django 程序部署配置方法详解
Jul 01 Python
Python字符串处理的8招秘籍(小结)
Aug 13 Python
pytorch1.0中torch.nn.Conv2d用法详解
Jan 10 Python
解决pycharm下pyuic工具使用的问题
Apr 08 Python
Django用户登录与注册系统的实现示例
Jun 03 Python
只用40行Python代码就能写出pdf转word小工具
pytorch 如何把图像数据集进行划分成train,test和val
May 31 #Python
Python图片检索之以图搜图
写一个Python脚本下载哔哩哔哩舞蹈区的所有视频
python中的plt.cm.Paired用法说明
May 31 #Python
在pycharm中无法import所安装的库解决方案
如何在pycharm中快捷安装pip命令(如pygame)
You might like
php实现概率性随机抽奖代码
2016/01/02 PHP
tp5框架内使用tp3.2分页的方法分析
2019/05/05 PHP
js同时按下两个方向键
2007/12/01 Javascript
获取非最后一列td值并将title设为该值的方法
2013/10/30 Javascript
JavaScript中document对象使用详解
2015/01/06 Javascript
JavaScript统计网站访问次数的实现代码
2015/11/18 Javascript
BootStrap下拉框在firefox浏览器界面不友好的解决方案
2016/08/18 Javascript
浅谈js在html中的加载执行顺序,多个jquery ready执行顺序
2016/11/26 Javascript
javascript 中iframe高度自适应(同域)实例详解
2017/05/16 Javascript
Vue自定义指令使用方法详解
2017/08/21 Javascript
Node层模拟实现multipart表单的文件上传示例
2018/01/02 Javascript
详解ES6通过WeakMap解决内存泄漏问题
2018/03/09 Javascript
浅谈发布订阅模式与观察者模式
2019/04/09 Javascript
微信小程序如何再次获取用户授权的方法
2019/05/10 Javascript
layui 图片上传+表单提交+ Spring MVC的实例
2019/09/21 Javascript
Openlayers实现地图的基本操作
2020/09/28 Javascript
[56:35]DOTA2上海特级锦标赛主赛事日 - 5 总决赛Liquid VS Secret第一局
2016/03/06 DOTA
Python编程中的for循环语句学习教程
2015/10/14 Python
分享vim python缩进等一些配置
2018/07/02 Python
在python中使用requests 模拟浏览器发送请求数据的方法
2018/12/26 Python
Python使用socket模块实现简单tcp通信
2020/08/18 Python
Python gevent协程切换实现详解
2020/09/14 Python
Python tempfile模块生成临时文件和临时目录
2020/09/30 Python
详解pandas映射与数据转换
2021/01/22 Python
css3图片边框border-image的用法
2017/06/30 HTML / CSS
css3新增颜色表示方式分享
2014/04/15 HTML / CSS
AmazeUI 图标的示例代码
2020/08/13 HTML / CSS
详解淘宝H5 sign加密算法
2020/08/25 HTML / CSS
实习心得体会
2014/01/02 职场文书
杠杆的科学教学反思
2014/01/10 职场文书
个人授权委托书模板
2014/09/14 职场文书
银行给客户的感谢信
2015/01/23 职场文书
店长岗位职责
2015/02/11 职场文书
2015年幼儿园班主任个人工作总结
2015/10/22 职场文书
Pytorch中TensorBoard及torchsummary的使用详解
2021/05/12 Python
Python访问Redis的详细操作
2021/06/26 Python