Python爬虫基础初探selenium


Posted in Python onMay 31, 2021

Python爬虫、数据分析、网站开发等案例教程视频免费在线观看

https://space.bilibili.com/523606542

Selenium

Selenium是一个Web的自动化测试工具,最初是为网站自动化测试而开发的,就像玩游戏用的按键精灵,可以按指定的命令自动操作。

Selenium测试工具直接操控浏览器中,就像真正的用户在操作一样。Selenium可以根据的指令,让浏览器自动加载页面,获取需要的数据,甚至页面截屏,或者判断网站上某些动作是否发生等。

selenium的用途

  (1)、selenium可以驱动浏览器自动执行自定义好的逻辑代码,也就是可以通过代码完全模拟成人类使用浏览器自动访问目标站点并操作,那我们也可以拿它来做爬虫。

  (2)、selenium本质上是通过驱动浏览器,完全模拟浏览器的操作,比如跳转、输入、点击、下拉等...进而拿到网页渲染之后的结果,可支持多种浏览器

selenium是优缺点

  (1)优点
    优点就是可以帮我们避开一系列复杂的通信流程,例如在我们之前学习的requests模块,那么requests模块在模拟请求的时候是不是需要把素有的通信流程都分析完成后才能通过请求,然后返回响应。假如目标站点有一系列复杂的通信流程,例如的登录时的滑动验证等...那么你使用requests模块的时候是不是就特别麻烦了。不过你也不需要担心,因为网站的反爬策略越高,那么用户的体验效果就越差,所以网站都需要在用户的淫威之下降低安全策略。
    再看一点requests请求库能不能执行js?是不是不能呀!那么如果你的网站需要发送ajax请求,异步获取数据渲染到页面上,是不是就需要使用js发送请求了。那浏览器的特点是什么?是不是可以直接访问目标站点,然后获取对方的数据,从而渲染到页面上。那这些就是使用selenium的好处!
  (2)缺点
    使用selenium本质上是驱动浏览器对目标站点发送请求,那浏览器在访问目标站点的时候,是不是都需要把静态资源都加载完毕。html、css、js这些文件是不是都要等待它加载完成。是不是速度特别慢。那用它的坏处就是效率极低!所以我们一般用它来做登录验证。

1. Selenium工作原理

Python爬虫基础初探selenium


 

如图所示,通过Python来控制Selenium,然后让Selenium 控制浏览器,操纵浏览器,这样就实现了使用Python间接的操控浏览器。

1.1 Selenium配置

Selenium支持多种浏览器,最常见的就是火狐和谷歌浏览器。首先在电脑上下载浏览器,浏览器版本不宜过新。

火狐:截图如下

Python爬虫基础初探selenium

谷歌:截图如下

Python爬虫基础初探selenium

1.2 浏览器驱动

Selenium具体怎么就能操纵浏览器呢?这要归功于浏览器驱动,Selenium可以通过API接口实现和浏览器驱动的交互,进而实现和浏览器的交互。所以要配置浏览器驱动。

火狐驱动下载地址:
http://npm.taobao.org/mirrors/geckodriver/
谷歌驱动下载地址:
https://npm.taobao.org/mirrors/chromedriver/

配置浏览器驱动:

将下载好的浏览器驱动解压,将解压出的exe文件放到Python的安装目录下,也就是和python.exe同目录即可。

Python爬虫基础初探selenium

1.3 使用Selenium

安装selenium模块,python借助这个模块驱动浏览器,使用如下命令行安装这个模块即可

pip install selenium

2 快速入门

# 打开百度首页
 
from selenium import webdriver
 
driver = webdriver.chrome()
url = 'https : / /www.baidu . com/ '
driver.get(url)
#打开get就类似与在浏览器地址栏里面放入网址
driver.get(url)
#退出浏览器
driver.quit()

以上就是Python爬虫基础初探selenium的详细内容,更多关于Python爬虫基础selenium的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
Python爬取国外天气预报网站的方法
Jul 10 Python
Python使用matplotlib绘图无法显示中文问题的解决方法
Mar 14 Python
python实现n个数中选出m个数的方法
Nov 13 Python
dataframe 按条件替换某一列中的值方法
Jan 29 Python
Python3模拟登录操作实例分析
Mar 12 Python
Django处理多用户类型的方法介绍
May 18 Python
python函数修饰符@的使用方法解析
Sep 02 Python
用Python画一个LinkinPark的logo代码实例
Sep 10 Python
python数据库编程 Mysql实现通讯录
Mar 27 Python
Ubuntu20下的Django安装的方法步骤
Jan 24 Python
python实现求纯色彩图像的边框
Apr 08 Python
python flask开发的简单基金查询工具
Jun 02 Python
只用40行Python代码就能写出pdf转word小工具
pytorch 如何把图像数据集进行划分成train,test和val
May 31 #Python
Python图片检索之以图搜图
写一个Python脚本下载哔哩哔哩舞蹈区的所有视频
python中的plt.cm.Paired用法说明
May 31 #Python
在pycharm中无法import所安装的库解决方案
如何在pycharm中快捷安装pip命令(如pygame)
You might like
纯PHP生成的一个树叶图片画图例子
2014/04/16 PHP
PHP实现获取图片颜色值的方法
2014/07/11 PHP
php实现跨域提交form表单的方法【2种方法】
2016/10/17 PHP
php use和include区别总结
2019/10/13 PHP
javascript预览上传图片发现的问题的解决方法
2010/11/25 Javascript
javascript开发技术大全 第4章 直接量与字符集
2011/07/03 Javascript
父节点获取子节点的字符串示例代码
2014/02/26 Javascript
JavaScript事件委托的技术原理探讨示例
2014/04/17 Javascript
一些老手都不一定知道的JavaScript技巧
2014/05/06 Javascript
js实现鼠标滚轮控制图片缩放效果的方法
2015/02/20 Javascript
基于javascript实现彩票随机数生成(简单版)
2020/04/17 Javascript
JavaScript 继承详解(六)
2016/10/11 Javascript
JavaScript随机生成颜色的方法
2016/10/15 Javascript
Vuejs实现带样式的单文件组件新方法
2017/05/02 Javascript
基于react框架使用的一些细节要点的思考
2017/05/31 Javascript
js实现拖拽元素选择和删除
2020/08/25 Javascript
python正则表达式re模块详细介绍
2014/05/29 Python
数据挖掘之Apriori算法详解和Python实现代码分享
2014/11/07 Python
Python3实现将文件树中所有文件和子目录归档到tar压缩文件的方法
2015/05/22 Python
python利用urllib和urllib2访问http的GET/POST详解
2017/09/27 Python
Python打印“菱形”星号代码方法
2018/02/05 Python
Python实现爬取百度贴吧帖子所有楼层图片的爬虫示例
2018/04/26 Python
Python之使用adb shell命令启动应用的方法详解
2019/01/07 Python
使用python实现抓取腾讯视频所有电影的爬虫
2019/04/15 Python
Flask框架钩子函数功能与用法分析
2019/08/02 Python
使用CSS3中的calc()属性来以算式表达尺寸数值
2016/06/06 HTML / CSS
HTML5注册页面示例代码
2014/03/27 HTML / CSS
类成员函数的重载、覆盖和隐藏区别
2016/01/27 面试题
会计电算化大学生职业规划书
2014/02/05 职场文书
运动会稿件300字
2014/02/14 职场文书
主管会计岗位职责
2014/03/13 职场文书
传承焦裕禄精神思想汇报2014
2014/09/10 职场文书
2015年幼儿园中班下学期工作总结
2015/05/22 职场文书
2015年度考核个人工作总结
2015/10/24 职场文书
《这片土地是神圣的》教学反思
2016/02/16 职场文书
小型企业的绩效考核制度模板
2019/11/21 职场文书