Python爬虫基础初探selenium


Posted in Python onMay 31, 2021

Python爬虫、数据分析、网站开发等案例教程视频免费在线观看

https://space.bilibili.com/523606542

Selenium

Selenium是一个Web的自动化测试工具,最初是为网站自动化测试而开发的,就像玩游戏用的按键精灵,可以按指定的命令自动操作。

Selenium测试工具直接操控浏览器中,就像真正的用户在操作一样。Selenium可以根据的指令,让浏览器自动加载页面,获取需要的数据,甚至页面截屏,或者判断网站上某些动作是否发生等。

selenium的用途

  (1)、selenium可以驱动浏览器自动执行自定义好的逻辑代码,也就是可以通过代码完全模拟成人类使用浏览器自动访问目标站点并操作,那我们也可以拿它来做爬虫。

  (2)、selenium本质上是通过驱动浏览器,完全模拟浏览器的操作,比如跳转、输入、点击、下拉等...进而拿到网页渲染之后的结果,可支持多种浏览器

selenium是优缺点

  (1)优点
    优点就是可以帮我们避开一系列复杂的通信流程,例如在我们之前学习的requests模块,那么requests模块在模拟请求的时候是不是需要把素有的通信流程都分析完成后才能通过请求,然后返回响应。假如目标站点有一系列复杂的通信流程,例如的登录时的滑动验证等...那么你使用requests模块的时候是不是就特别麻烦了。不过你也不需要担心,因为网站的反爬策略越高,那么用户的体验效果就越差,所以网站都需要在用户的淫威之下降低安全策略。
    再看一点requests请求库能不能执行js?是不是不能呀!那么如果你的网站需要发送ajax请求,异步获取数据渲染到页面上,是不是就需要使用js发送请求了。那浏览器的特点是什么?是不是可以直接访问目标站点,然后获取对方的数据,从而渲染到页面上。那这些就是使用selenium的好处!
  (2)缺点
    使用selenium本质上是驱动浏览器对目标站点发送请求,那浏览器在访问目标站点的时候,是不是都需要把静态资源都加载完毕。html、css、js这些文件是不是都要等待它加载完成。是不是速度特别慢。那用它的坏处就是效率极低!所以我们一般用它来做登录验证。

1. Selenium工作原理

Python爬虫基础初探selenium


 

如图所示,通过Python来控制Selenium,然后让Selenium 控制浏览器,操纵浏览器,这样就实现了使用Python间接的操控浏览器。

1.1 Selenium配置

Selenium支持多种浏览器,最常见的就是火狐和谷歌浏览器。首先在电脑上下载浏览器,浏览器版本不宜过新。

火狐:截图如下

Python爬虫基础初探selenium

谷歌:截图如下

Python爬虫基础初探selenium

1.2 浏览器驱动

Selenium具体怎么就能操纵浏览器呢?这要归功于浏览器驱动,Selenium可以通过API接口实现和浏览器驱动的交互,进而实现和浏览器的交互。所以要配置浏览器驱动。

火狐驱动下载地址:
http://npm.taobao.org/mirrors/geckodriver/
谷歌驱动下载地址:
https://npm.taobao.org/mirrors/chromedriver/

配置浏览器驱动:

将下载好的浏览器驱动解压,将解压出的exe文件放到Python的安装目录下,也就是和python.exe同目录即可。

Python爬虫基础初探selenium

1.3 使用Selenium

安装selenium模块,python借助这个模块驱动浏览器,使用如下命令行安装这个模块即可

pip install selenium

2 快速入门

# 打开百度首页
 
from selenium import webdriver
 
driver = webdriver.chrome()
url = 'https : / /www.baidu . com/ '
driver.get(url)
#打开get就类似与在浏览器地址栏里面放入网址
driver.get(url)
#退出浏览器
driver.quit()

以上就是Python爬虫基础初探selenium的详细内容,更多关于Python爬虫基础selenium的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
Python制作CSDN免积分下载器
Mar 10 Python
django将图片上传数据库后在前端显式的方法
May 25 Python
Python分割指定页数的pdf文件方法
Oct 26 Python
Python用61行代码实现图片像素化的示例代码
Dec 10 Python
详解python3安装pillow后报错没有pillow模块以及没有PIL模块问题解决
Apr 17 Python
Django  ORM 练习题及答案
Jul 19 Python
Django使用unittest模块进行单元测试过程解析
Aug 02 Python
Python写出新冠状病毒确诊人数地图的方法
Feb 12 Python
jupyter notebook 重装教程
Apr 16 Python
详解python变量与数据类型
Aug 25 Python
python中xlrd模块的使用详解
Feb 01 Python
用Python编写简单的gRPC服务的详细过程
Jul 04 Python
只用40行Python代码就能写出pdf转word小工具
pytorch 如何把图像数据集进行划分成train,test和val
May 31 #Python
Python图片检索之以图搜图
写一个Python脚本下载哔哩哔哩舞蹈区的所有视频
python中的plt.cm.Paired用法说明
May 31 #Python
在pycharm中无法import所安装的库解决方案
如何在pycharm中快捷安装pip命令(如pygame)
You might like
php实现统计目录文件大小的函数
2015/12/25 PHP
php中关于长度计算容易混淆的问题分析
2016/05/27 PHP
javascript URL锚点取值方法
2009/02/25 Javascript
js实现可拖动DIV的方法
2013/12/17 Javascript
js图片预加载示例
2014/04/30 Javascript
Javascript验证方法大全
2015/09/21 Javascript
JavaScript组件开发完整示例
2015/12/15 Javascript
浅析javascript函数表达式
2016/02/10 Javascript
Node.js 应用跑得更快 10 个技巧
2016/04/03 Javascript
基于jQuery实现Accordion手风琴自定义插件
2020/10/13 Javascript
详解jQuery简单的表格应用
2016/12/16 Javascript
js微信支付实现代码
2016/12/22 Javascript
详解Nodejs之npm&package.json
2017/06/15 NodeJs
Vuex提升学习篇
2018/01/11 Javascript
使用vue.js在页面内组件监听scroll事件的方法
2018/09/11 Javascript
Element input树型下拉框的实现代码
2018/12/21 Javascript
详解vue-cli 2.0配置文件(小结)
2019/01/14 Javascript
vue 实现一个简单的全局调用弹窗案例
2020/09/10 Javascript
可拖拽组件slider.js使用方法详解
2020/12/04 Javascript
开源软件包和环境管理系统Anaconda的安装使用
2017/09/04 Python
详解python的四种内置数据结构
2019/03/19 Python
使用python代码进行身份证号校验的实现示例
2019/11/21 Python
python3.6环境下安装freetype库和基本使用方法(推荐)
2020/05/10 Python
python使用建议与技巧分享(一)
2020/08/17 Python
python rsa-oaep加密的示例代码
2020/09/23 Python
AmazeUI 等分网格的实现示例
2020/08/25 HTML / CSS
家长会演讲稿范文
2014/01/10 职场文书
工程质量承诺书
2014/03/27 职场文书
植物生产学专业求职信
2014/08/08 职场文书
幼儿教师师德师风自我剖析材料
2014/09/29 职场文书
会计电算化实训报告
2014/11/04 职场文书
党小组鉴定意见
2015/06/02 职场文书
学困生转化工作总结
2015/08/13 职场文书
同学会演讲稿
2019/04/02 职场文书
JavaScript利用html5新方法操作元素类名详解
2021/11/27 Javascript
mysql查找连续出现n次以上的数字
2022/05/11 MySQL