Python爬虫基础初探selenium


Posted in Python onMay 31, 2021

Python爬虫、数据分析、网站开发等案例教程视频免费在线观看

https://space.bilibili.com/523606542

Selenium

Selenium是一个Web的自动化测试工具,最初是为网站自动化测试而开发的,就像玩游戏用的按键精灵,可以按指定的命令自动操作。

Selenium测试工具直接操控浏览器中,就像真正的用户在操作一样。Selenium可以根据的指令,让浏览器自动加载页面,获取需要的数据,甚至页面截屏,或者判断网站上某些动作是否发生等。

selenium的用途

  (1)、selenium可以驱动浏览器自动执行自定义好的逻辑代码,也就是可以通过代码完全模拟成人类使用浏览器自动访问目标站点并操作,那我们也可以拿它来做爬虫。

  (2)、selenium本质上是通过驱动浏览器,完全模拟浏览器的操作,比如跳转、输入、点击、下拉等...进而拿到网页渲染之后的结果,可支持多种浏览器

selenium是优缺点

  (1)优点
    优点就是可以帮我们避开一系列复杂的通信流程,例如在我们之前学习的requests模块,那么requests模块在模拟请求的时候是不是需要把素有的通信流程都分析完成后才能通过请求,然后返回响应。假如目标站点有一系列复杂的通信流程,例如的登录时的滑动验证等...那么你使用requests模块的时候是不是就特别麻烦了。不过你也不需要担心,因为网站的反爬策略越高,那么用户的体验效果就越差,所以网站都需要在用户的淫威之下降低安全策略。
    再看一点requests请求库能不能执行js?是不是不能呀!那么如果你的网站需要发送ajax请求,异步获取数据渲染到页面上,是不是就需要使用js发送请求了。那浏览器的特点是什么?是不是可以直接访问目标站点,然后获取对方的数据,从而渲染到页面上。那这些就是使用selenium的好处!
  (2)缺点
    使用selenium本质上是驱动浏览器对目标站点发送请求,那浏览器在访问目标站点的时候,是不是都需要把静态资源都加载完毕。html、css、js这些文件是不是都要等待它加载完成。是不是速度特别慢。那用它的坏处就是效率极低!所以我们一般用它来做登录验证。

1. Selenium工作原理

Python爬虫基础初探selenium


 

如图所示,通过Python来控制Selenium,然后让Selenium 控制浏览器,操纵浏览器,这样就实现了使用Python间接的操控浏览器。

1.1 Selenium配置

Selenium支持多种浏览器,最常见的就是火狐和谷歌浏览器。首先在电脑上下载浏览器,浏览器版本不宜过新。

火狐:截图如下

Python爬虫基础初探selenium

谷歌:截图如下

Python爬虫基础初探selenium

1.2 浏览器驱动

Selenium具体怎么就能操纵浏览器呢?这要归功于浏览器驱动,Selenium可以通过API接口实现和浏览器驱动的交互,进而实现和浏览器的交互。所以要配置浏览器驱动。

火狐驱动下载地址:
http://npm.taobao.org/mirrors/geckodriver/
谷歌驱动下载地址:
https://npm.taobao.org/mirrors/chromedriver/

配置浏览器驱动:

将下载好的浏览器驱动解压,将解压出的exe文件放到Python的安装目录下,也就是和python.exe同目录即可。

Python爬虫基础初探selenium

1.3 使用Selenium

安装selenium模块,python借助这个模块驱动浏览器,使用如下命令行安装这个模块即可

pip install selenium

2 快速入门

# 打开百度首页
 
from selenium import webdriver
 
driver = webdriver.chrome()
url = 'https : / /www.baidu . com/ '
driver.get(url)
#打开get就类似与在浏览器地址栏里面放入网址
driver.get(url)
#退出浏览器
driver.quit()

以上就是Python爬虫基础初探selenium的详细内容,更多关于Python爬虫基础selenium的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
python采集博客中上传的QQ截图文件
Jul 18 Python
Django框架中处理URLconf中特定的URL的方法
Jul 20 Python
python如何让类支持比较运算
Mar 20 Python
Python简单基础小程序的实例代码
Apr 28 Python
ubuntu 16.04下python版本切换的方法
Jun 14 Python
python3字符串操作总结
Jul 24 Python
Django框架 查询Extra功能实现解析
Sep 04 Python
python中bytes和str类型的区别
Oct 21 Python
Tensorflow 实现分批量读取数据
Jan 04 Python
关于Python turtle库使用时坐标的确定方法
Mar 19 Python
Python实现列表中非负数保留,负数转化为指定的数值方式
Jun 04 Python
浅析关于Keras的安装(pycharm)和初步理解
Oct 23 Python
只用40行Python代码就能写出pdf转word小工具
pytorch 如何把图像数据集进行划分成train,test和val
May 31 #Python
Python图片检索之以图搜图
写一个Python脚本下载哔哩哔哩舞蹈区的所有视频
python中的plt.cm.Paired用法说明
May 31 #Python
在pycharm中无法import所安装的库解决方案
如何在pycharm中快捷安装pip命令(如pygame)
You might like
php self,$this,const,static,->的使用
2009/10/22 PHP
php数据库连接时容易出错的特殊符号问题
2010/09/01 PHP
apache+php完美解决301重定向的两种方法
2011/06/08 PHP
php解析json数据实例
2014/08/19 PHP
php对二维数组进行相关操作(排序、转换、去空白等)
2015/11/04 PHP
php中关于长度计算容易混淆的问题分析
2016/05/27 PHP
php阳历转农历优化版
2016/08/08 PHP
PHP面向对象程序设计之对象的遍历操作示例
2019/06/12 PHP
javascript 导出数据到Excel(处理table中的元素)
2009/12/18 Javascript
jQuery的运行机制和设计理念分析
2011/04/05 Javascript
常见JS效果之图片减速度滚动实现代码
2011/12/08 Javascript
javascript级联下拉列表实例代码(自写)
2013/05/10 Javascript
jquery实现带缩略图的全屏图片画廊效果实例
2015/06/25 Javascript
js精美的幻灯片画集特效代码分享
2015/08/29 Javascript
js入门之Function函数的使用方法【新手必看】
2016/11/22 Javascript
javascript ASCII和Hex互转的实现方法
2016/12/27 Javascript
javascript 注释代码的几种方法总结
2017/01/04 Javascript
canvas实现图像布局填充功能
2017/02/06 Javascript
vue+socket.io+express+mongodb 实现简易多房间在线群聊示例
2017/10/21 Javascript
详解webpack loader和plugin编写
2018/10/12 Javascript
微信小程序实现基于三元运算验证手机号/姓名功能示例
2019/01/19 Javascript
node命令行工具之实现项目工程自动初始化的标准流程
2019/08/12 Javascript
js获取本日、本周、本月的时间代码
2020/02/01 Javascript
详解微信小程序工程化探索之webpack实战
2020/04/20 Javascript
浅谈JavaScript中的“!!”作用
2020/08/03 Javascript
基于javascript实现移动端轮播图效果
2020/12/21 Javascript
Python字符遍历的艺术
2008/09/06 Python
python并发2之使用asyncio处理并发
2017/12/21 Python
Pycharm操作Git及GitHub的步骤详解
2020/10/27 Python
Tod’s英国官方网站:意大利奢华手工制作手袋和鞋履
2019/03/15 全球购物
意大利辅助药品、药物和补品在线销售:FarmaEurope
2020/04/29 全球购物
好的自荐信的要求
2013/10/30 职场文书
2016年入党心得体会范文
2016/01/23 职场文书
忆童年!用Python实现愤怒的小鸟游戏
2021/06/07 Python
关于@OnetoMany关系映射的排序问题,使用注解@OrderBy
2021/12/06 Java/Android
永中文档在线转换预览基于nginx配置部署方案
2022/06/10 Servers