Python爬虫基础初探selenium


Posted in Python onMay 31, 2021

Python爬虫、数据分析、网站开发等案例教程视频免费在线观看

https://space.bilibili.com/523606542

Selenium

Selenium是一个Web的自动化测试工具,最初是为网站自动化测试而开发的,就像玩游戏用的按键精灵,可以按指定的命令自动操作。

Selenium测试工具直接操控浏览器中,就像真正的用户在操作一样。Selenium可以根据的指令,让浏览器自动加载页面,获取需要的数据,甚至页面截屏,或者判断网站上某些动作是否发生等。

selenium的用途

  (1)、selenium可以驱动浏览器自动执行自定义好的逻辑代码,也就是可以通过代码完全模拟成人类使用浏览器自动访问目标站点并操作,那我们也可以拿它来做爬虫。

  (2)、selenium本质上是通过驱动浏览器,完全模拟浏览器的操作,比如跳转、输入、点击、下拉等...进而拿到网页渲染之后的结果,可支持多种浏览器

selenium是优缺点

  (1)优点
    优点就是可以帮我们避开一系列复杂的通信流程,例如在我们之前学习的requests模块,那么requests模块在模拟请求的时候是不是需要把素有的通信流程都分析完成后才能通过请求,然后返回响应。假如目标站点有一系列复杂的通信流程,例如的登录时的滑动验证等...那么你使用requests模块的时候是不是就特别麻烦了。不过你也不需要担心,因为网站的反爬策略越高,那么用户的体验效果就越差,所以网站都需要在用户的淫威之下降低安全策略。
    再看一点requests请求库能不能执行js?是不是不能呀!那么如果你的网站需要发送ajax请求,异步获取数据渲染到页面上,是不是就需要使用js发送请求了。那浏览器的特点是什么?是不是可以直接访问目标站点,然后获取对方的数据,从而渲染到页面上。那这些就是使用selenium的好处!
  (2)缺点
    使用selenium本质上是驱动浏览器对目标站点发送请求,那浏览器在访问目标站点的时候,是不是都需要把静态资源都加载完毕。html、css、js这些文件是不是都要等待它加载完成。是不是速度特别慢。那用它的坏处就是效率极低!所以我们一般用它来做登录验证。

1. Selenium工作原理

Python爬虫基础初探selenium


 

如图所示,通过Python来控制Selenium,然后让Selenium 控制浏览器,操纵浏览器,这样就实现了使用Python间接的操控浏览器。

1.1 Selenium配置

Selenium支持多种浏览器,最常见的就是火狐和谷歌浏览器。首先在电脑上下载浏览器,浏览器版本不宜过新。

火狐:截图如下

Python爬虫基础初探selenium

谷歌:截图如下

Python爬虫基础初探selenium

1.2 浏览器驱动

Selenium具体怎么就能操纵浏览器呢?这要归功于浏览器驱动,Selenium可以通过API接口实现和浏览器驱动的交互,进而实现和浏览器的交互。所以要配置浏览器驱动。

火狐驱动下载地址:
http://npm.taobao.org/mirrors/geckodriver/
谷歌驱动下载地址:
https://npm.taobao.org/mirrors/chromedriver/

配置浏览器驱动:

将下载好的浏览器驱动解压,将解压出的exe文件放到Python的安装目录下,也就是和python.exe同目录即可。

Python爬虫基础初探selenium

1.3 使用Selenium

安装selenium模块,python借助这个模块驱动浏览器,使用如下命令行安装这个模块即可

pip install selenium

2 快速入门

# 打开百度首页
 
from selenium import webdriver
 
driver = webdriver.chrome()
url = 'https : / /www.baidu . com/ '
driver.get(url)
#打开get就类似与在浏览器地址栏里面放入网址
driver.get(url)
#退出浏览器
driver.quit()

以上就是Python爬虫基础初探selenium的详细内容,更多关于Python爬虫基础selenium的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
解决python3在anaconda下安装caffe失败的问题
Jun 15 Python
利用numpy实现一、二维数组的拼接简单代码示例
Dec 15 Python
对Python中range()函数和list的比较
Apr 19 Python
pandas DataFrame实现几列数据合并成为新的一列方法
Jun 08 Python
python实现雨滴下落到地面效果
Jun 21 Python
Python面向对象实现一个对象调用另一个对象操作示例
Apr 08 Python
Python实现字符串中某个字母的替代功能
Oct 21 Python
Python日志logging模块功能与用法详解
Apr 09 Python
Python如何把字典写入到CSV文件的方法示例
Aug 23 Python
详解使用Python写一个向数据库填充数据的小工具(推荐)
Sep 11 Python
Django模型层实现多表关系创建和多表操作
Jul 21 Python
Python实现双向链表基本操作
May 25 Python
只用40行Python代码就能写出pdf转word小工具
pytorch 如何把图像数据集进行划分成train,test和val
May 31 #Python
Python图片检索之以图搜图
写一个Python脚本下载哔哩哔哩舞蹈区的所有视频
python中的plt.cm.Paired用法说明
May 31 #Python
在pycharm中无法import所安装的库解决方案
如何在pycharm中快捷安装pip命令(如pygame)
You might like
PHP多个文件上传到服务器实例
2014/10/29 PHP
php数组保存文本与文本反编成数组实例
2014/11/13 PHP
CodeIgniter基于Email类发邮件的方法
2016/03/29 PHP
PHP在linux上执行外部命令的方法
2017/02/06 PHP
利用ajax和PHP实现简单的流程管理
2017/03/23 PHP
PHP实现转盘抽奖算法分享
2020/04/15 PHP
php app支付宝回调(异步通知)详解
2018/07/25 PHP
PHP底层运行机制与工作原理详解
2020/07/31 PHP
用JS操作FRAME中的IFRAME及其内容的实现代码
2008/07/26 Javascript
js tab 选项卡
2009/04/26 Javascript
jquery的Tooltip插件 qtip使用详细说明
2010/09/08 Javascript
jQuery中replaceAll()方法用法实例
2015/01/16 Javascript
jQuery is not defined 错误原因与解决方法小结
2017/03/19 Javascript
写gulp遇到的ES6问题详解
2018/12/03 Javascript
Vue插件从封装到发布的完整步骤记录
2019/02/28 Javascript
详解vue中在循环中使用@mouseenter 和 @mouseleave事件闪烁问题解决方法
2020/04/07 Javascript
Vue+ElementUI 中级联选择器Bug问题的解决
2020/07/31 Javascript
js实现微信聊天效果
2020/08/09 Javascript
SpringBoot+Vue开发之Login校验规则、实现登录和重置事件
2020/10/19 Javascript
VUE实现吸底按钮
2021/03/04 Vue.js
[07:52]2014DOTA2 TI逗比武士游V社解说背后的故事
2014/07/10 DOTA
Python解析命令行读取参数--argparse模块使用方法
2018/01/23 Python
Flask框架web开发之零基础入门
2018/12/10 Python
python获取地震信息 微信实时推送
2019/06/18 Python
python移位运算的实现
2019/07/15 Python
python3 写一个WAV音频文件播放器的代码
2019/09/27 Python
Python面向对象魔法方法和单例模块代码实例
2020/03/25 Python
python解释器安装教程的方法步骤
2020/07/02 Python
python中openpyxl和xlsxwriter对Excel的操作方法
2021/03/01 Python
css3动画效果抖动解决方法
2018/09/03 HTML / CSS
CSS3中几个新增加的盒模型属性使用教程
2016/03/01 HTML / CSS
PHP笔试题
2012/02/22 面试题
金智子午JAVA面试题
2015/09/04 面试题
银行优秀员工事迹材料
2014/05/29 职场文书
保险内勤岗位职责
2015/04/13 职场文书
员工福利申请报告
2015/05/15 职场文书