Python爬虫基础初探selenium


Posted in Python onMay 31, 2021

Python爬虫、数据分析、网站开发等案例教程视频免费在线观看

https://space.bilibili.com/523606542

Selenium

Selenium是一个Web的自动化测试工具,最初是为网站自动化测试而开发的,就像玩游戏用的按键精灵,可以按指定的命令自动操作。

Selenium测试工具直接操控浏览器中,就像真正的用户在操作一样。Selenium可以根据的指令,让浏览器自动加载页面,获取需要的数据,甚至页面截屏,或者判断网站上某些动作是否发生等。

selenium的用途

  (1)、selenium可以驱动浏览器自动执行自定义好的逻辑代码,也就是可以通过代码完全模拟成人类使用浏览器自动访问目标站点并操作,那我们也可以拿它来做爬虫。

  (2)、selenium本质上是通过驱动浏览器,完全模拟浏览器的操作,比如跳转、输入、点击、下拉等...进而拿到网页渲染之后的结果,可支持多种浏览器

selenium是优缺点

  (1)优点
    优点就是可以帮我们避开一系列复杂的通信流程,例如在我们之前学习的requests模块,那么requests模块在模拟请求的时候是不是需要把素有的通信流程都分析完成后才能通过请求,然后返回响应。假如目标站点有一系列复杂的通信流程,例如的登录时的滑动验证等...那么你使用requests模块的时候是不是就特别麻烦了。不过你也不需要担心,因为网站的反爬策略越高,那么用户的体验效果就越差,所以网站都需要在用户的淫威之下降低安全策略。
    再看一点requests请求库能不能执行js?是不是不能呀!那么如果你的网站需要发送ajax请求,异步获取数据渲染到页面上,是不是就需要使用js发送请求了。那浏览器的特点是什么?是不是可以直接访问目标站点,然后获取对方的数据,从而渲染到页面上。那这些就是使用selenium的好处!
  (2)缺点
    使用selenium本质上是驱动浏览器对目标站点发送请求,那浏览器在访问目标站点的时候,是不是都需要把静态资源都加载完毕。html、css、js这些文件是不是都要等待它加载完成。是不是速度特别慢。那用它的坏处就是效率极低!所以我们一般用它来做登录验证。

1. Selenium工作原理

Python爬虫基础初探selenium


 

如图所示,通过Python来控制Selenium,然后让Selenium 控制浏览器,操纵浏览器,这样就实现了使用Python间接的操控浏览器。

1.1 Selenium配置

Selenium支持多种浏览器,最常见的就是火狐和谷歌浏览器。首先在电脑上下载浏览器,浏览器版本不宜过新。

火狐:截图如下

Python爬虫基础初探selenium

谷歌:截图如下

Python爬虫基础初探selenium

1.2 浏览器驱动

Selenium具体怎么就能操纵浏览器呢?这要归功于浏览器驱动,Selenium可以通过API接口实现和浏览器驱动的交互,进而实现和浏览器的交互。所以要配置浏览器驱动。

火狐驱动下载地址:
http://npm.taobao.org/mirrors/geckodriver/
谷歌驱动下载地址:
https://npm.taobao.org/mirrors/chromedriver/

配置浏览器驱动:

将下载好的浏览器驱动解压,将解压出的exe文件放到Python的安装目录下,也就是和python.exe同目录即可。

Python爬虫基础初探selenium

1.3 使用Selenium

安装selenium模块,python借助这个模块驱动浏览器,使用如下命令行安装这个模块即可

pip install selenium

2 快速入门

# 打开百度首页
 
from selenium import webdriver
 
driver = webdriver.chrome()
url = 'https : / /www.baidu . com/ '
driver.get(url)
#打开get就类似与在浏览器地址栏里面放入网址
driver.get(url)
#退出浏览器
driver.quit()

以上就是Python爬虫基础初探selenium的详细内容,更多关于Python爬虫基础selenium的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
Python入门之三角函数atan2()函数详解
Nov 08 Python
使用Python处理Excel表格的简单方法
Jun 07 Python
python中pika模块问题的深入探究
Oct 13 Python
Python3 利用requests 库进行post携带账号密码请求数据的方法
Oct 26 Python
理想高通滤波实现Python opencv示例
Jan 30 Python
Python实现简单层次聚类算法以及可视化
Mar 18 Python
Python数据类型之Dict字典实例详解
May 07 Python
详解Python odoo中嵌入html简单的分页功能
May 29 Python
python+numpy按行求一个二维数组的最大值方法
Jul 09 Python
python怎么调用自己的函数
Jul 01 Python
python中逻辑与或(and、or)和按位与或异或(&、|、^)区别
Aug 05 Python
Python控制台输出俄罗斯方块的方法实例
Apr 17 Python
只用40行Python代码就能写出pdf转word小工具
pytorch 如何把图像数据集进行划分成train,test和val
May 31 #Python
Python图片检索之以图搜图
写一个Python脚本下载哔哩哔哩舞蹈区的所有视频
python中的plt.cm.Paired用法说明
May 31 #Python
在pycharm中无法import所安装的库解决方案
如何在pycharm中快捷安装pip命令(如pygame)
You might like
PHP操作mysql函数详解,mysql和php交互函数
2011/05/19 PHP
php数组删除元素示例
2014/03/21 PHP
php获取'/'传参的值简单方法
2017/07/13 PHP
精选的10款用于构建良好易用性网站的jQuery插件
2011/01/23 Javascript
火狐4、谷歌12不支持Jquery Validator的解决方法分享
2011/06/20 Javascript
导航跟随滚动条置顶移动示例代码
2013/09/11 Javascript
ECMAScript 5中的属性描述符详解
2015/03/02 Javascript
12种JavaScript常用的MVC框架比较分析
2015/11/16 Javascript
javascript简单判断输入内容是否合法的方法
2016/05/11 Javascript
Node.js如何自动审核团队的代码
2016/07/20 Javascript
通过修改360抢票的刷新频率和突破8车次限制实现方法
2017/01/04 Javascript
微信小程序 页面跳转传递值几种方法详解
2017/01/12 Javascript
ES6新特性之Symbol类型用法分析
2017/03/31 Javascript
JavaScript之iterable_动力节点Java学院整理
2017/06/29 Javascript
jQuery完成表单验证的实例代码(纯代码)
2017/09/30 jQuery
webpack 4.0.0-beta.0版本新特性介绍
2018/02/10 Javascript
浅谈实现在线预览PDF的几种解决办法
2020/08/10 Javascript
Python多线程原理与用法详解
2018/08/20 Python
详解Python 字符串相似性的几种度量方法
2019/08/29 Python
python实现布隆过滤器及原理解析
2019/12/08 Python
使用CSS3配合IE滤镜实现渐变和投影的效果
2015/09/06 HTML / CSS
HTML5的革新 结构之美
2011/06/20 HTML / CSS
加拿大花店:1800Flowers.ca
2016/11/16 全球购物
阿里云:Aliyun.com
2017/02/15 全球购物
全球知名的珠宝首饰品牌:Kay Jewelers
2018/02/11 全球购物
数据库的约束含义
2012/09/09 面试题
自荐信格式简述
2014/01/25 职场文书
面试后感谢信怎么写
2014/02/01 职场文书
放飞蜻蜓反思
2014/02/05 职场文书
建材投资建议书
2014/05/16 职场文书
区域销售主管岗位职责
2014/06/15 职场文书
个人剖析材料范文
2014/09/30 职场文书
亲属关系公证书样本
2015/01/23 职场文书
2015年度团总支工作总结
2015/04/23 职场文书
python 自动刷新网页的两种方法
2021/04/20 Python
详解OpenCV曝光融合
2022/04/29 Python