Python爬虫基础初探selenium


Posted in Python onMay 31, 2021

Python爬虫、数据分析、网站开发等案例教程视频免费在线观看

https://space.bilibili.com/523606542

Selenium

Selenium是一个Web的自动化测试工具,最初是为网站自动化测试而开发的,就像玩游戏用的按键精灵,可以按指定的命令自动操作。

Selenium测试工具直接操控浏览器中,就像真正的用户在操作一样。Selenium可以根据的指令,让浏览器自动加载页面,获取需要的数据,甚至页面截屏,或者判断网站上某些动作是否发生等。

selenium的用途

  (1)、selenium可以驱动浏览器自动执行自定义好的逻辑代码,也就是可以通过代码完全模拟成人类使用浏览器自动访问目标站点并操作,那我们也可以拿它来做爬虫。

  (2)、selenium本质上是通过驱动浏览器,完全模拟浏览器的操作,比如跳转、输入、点击、下拉等...进而拿到网页渲染之后的结果,可支持多种浏览器

selenium是优缺点

  (1)优点
    优点就是可以帮我们避开一系列复杂的通信流程,例如在我们之前学习的requests模块,那么requests模块在模拟请求的时候是不是需要把素有的通信流程都分析完成后才能通过请求,然后返回响应。假如目标站点有一系列复杂的通信流程,例如的登录时的滑动验证等...那么你使用requests模块的时候是不是就特别麻烦了。不过你也不需要担心,因为网站的反爬策略越高,那么用户的体验效果就越差,所以网站都需要在用户的淫威之下降低安全策略。
    再看一点requests请求库能不能执行js?是不是不能呀!那么如果你的网站需要发送ajax请求,异步获取数据渲染到页面上,是不是就需要使用js发送请求了。那浏览器的特点是什么?是不是可以直接访问目标站点,然后获取对方的数据,从而渲染到页面上。那这些就是使用selenium的好处!
  (2)缺点
    使用selenium本质上是驱动浏览器对目标站点发送请求,那浏览器在访问目标站点的时候,是不是都需要把静态资源都加载完毕。html、css、js这些文件是不是都要等待它加载完成。是不是速度特别慢。那用它的坏处就是效率极低!所以我们一般用它来做登录验证。

1. Selenium工作原理

Python爬虫基础初探selenium


 

如图所示,通过Python来控制Selenium,然后让Selenium 控制浏览器,操纵浏览器,这样就实现了使用Python间接的操控浏览器。

1.1 Selenium配置

Selenium支持多种浏览器,最常见的就是火狐和谷歌浏览器。首先在电脑上下载浏览器,浏览器版本不宜过新。

火狐:截图如下

Python爬虫基础初探selenium

谷歌:截图如下

Python爬虫基础初探selenium

1.2 浏览器驱动

Selenium具体怎么就能操纵浏览器呢?这要归功于浏览器驱动,Selenium可以通过API接口实现和浏览器驱动的交互,进而实现和浏览器的交互。所以要配置浏览器驱动。

火狐驱动下载地址:
http://npm.taobao.org/mirrors/geckodriver/
谷歌驱动下载地址:
https://npm.taobao.org/mirrors/chromedriver/

配置浏览器驱动:

将下载好的浏览器驱动解压,将解压出的exe文件放到Python的安装目录下,也就是和python.exe同目录即可。

Python爬虫基础初探selenium

1.3 使用Selenium

安装selenium模块,python借助这个模块驱动浏览器,使用如下命令行安装这个模块即可

pip install selenium

2 快速入门

# 打开百度首页
 
from selenium import webdriver
 
driver = webdriver.chrome()
url = 'https : / /www.baidu . com/ '
driver.get(url)
#打开get就类似与在浏览器地址栏里面放入网址
driver.get(url)
#退出浏览器
driver.quit()

以上就是Python爬虫基础初探selenium的详细内容,更多关于Python爬虫基础selenium的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
Python实现Const详解
Jan 27 Python
python检测远程udp端口是否打开的方法
Mar 14 Python
Python实现发送与接收邮件的方法详解
Mar 28 Python
python中的常量和变量代码详解
Jul 25 Python
python使用folium库绘制地图点击框
Sep 21 Python
在Python中定义一个常量的方法
Nov 10 Python
Python3 修改默认环境的方法
Feb 16 Python
Python学习笔记之读取文件、OS模块、异常处理、with as语法示例
Jun 04 Python
pandas之分组groupby()的使用整理与总结
Jun 18 Python
python hmac模块验证客户端的合法性
Nov 07 Python
python开发一个解析protobuf文件的简单编译器
Nov 17 Python
尝试使用Python爬取城市租房信息
Apr 12 Python
只用40行Python代码就能写出pdf转word小工具
pytorch 如何把图像数据集进行划分成train,test和val
May 31 #Python
Python图片检索之以图搜图
写一个Python脚本下载哔哩哔哩舞蹈区的所有视频
python中的plt.cm.Paired用法说明
May 31 #Python
在pycharm中无法import所安装的库解决方案
如何在pycharm中快捷安装pip命令(如pygame)
You might like
php 多线程上下文中安全写文件实现代码
2009/12/28 PHP
php小技巧 把数组的键和值交换形成了新的数组,查找值取得键
2011/06/02 PHP
PHP删除数组中的特定元素的代码
2012/06/28 PHP
ThinkPHP模板判断输出Present标签用法详解
2014/06/30 PHP
Yii使用CLinkPager分页实例详解
2014/07/23 PHP
CodeIgniter控制器之业务逻辑实例分析
2016/01/20 PHP
PHP中用mysqli面向对象打开连接关闭mysql数据库的方法
2016/11/05 PHP
php pdo操作数据库示例
2017/03/10 PHP
golang、python、php、c++、c、java、Nodejs性能对比
2017/03/12 NodeJs
PHP写API输出的时用echo的原因详解
2019/04/28 PHP
Javascript UrlDecode函数代码
2010/01/09 Javascript
jquery实现简单的无缝滚动
2015/04/15 Javascript
jQuery滚动新闻实现代码
2016/06/26 Javascript
微信小程序 实战实例开发流程详细介绍
2017/01/05 Javascript
jQuery中DOM节点的删除方法总结(超全面)
2017/01/22 Javascript
AngularJS实现根据不同条件显示不同控件
2017/04/20 Javascript
vue2.0父子组件间传递数据的方法
2018/08/16 Javascript
Vue实现的父组件向子组件传值功能示例
2019/01/19 Javascript
vue和better-scroll实现列表左右联动效果详解
2019/04/29 Javascript
浅谈layui 绑定form submit提交表单的注意事项
2019/10/25 Javascript
autojs 蚂蚁森林能量自动拾取即给指定好友浇水的实现方法
2020/05/03 Javascript
Python中条件选择和循环语句使用方法介绍
2013/03/13 Python
python3.6.3转化为win-exe文件发布的方法
2018/10/31 Python
Python3 Post登录并且保存cookie登录其他页面的方法
2018/12/28 Python
Python多线程原理与用法实例剖析
2019/01/22 Python
Python高级编程之消息队列(Queue)与进程池(Pool)实例详解
2019/11/01 Python
Java ExcutorService优雅关闭方式解析
2020/05/30 Python
浅谈tensorflow 中的图片读取和裁剪方式
2020/06/30 Python
如何基于Python按行合并两个txt
2020/11/03 Python
美体小铺瑞典官方网站:The Body Shop瑞典
2018/01/27 全球购物
摄影实习自我鉴定
2013/09/20 职场文书
基层党建工作简报
2015/07/21 职场文书
2019新学期家长会工作计划
2019/08/21 职场文书
Nginx开启Brotli压缩算法实现过程详解
2021/03/31 Servers
Python中的套接字编程是什么?
2021/06/21 Python
SpringBoot SpringEL表达式的使用
2021/07/25 Java/Android