python+selenium+chromedriver实现爬虫示例代码


Posted in Python onApril 10, 2020

下载好所需程序

1.Selenium简介

Selenium是一个用于Web应用程序测试的工具,直接运行在浏览器中,就像真正的用户在操作一样。

2.Selenium安装

方法一:在Windows命令行(cmd)输入pip install selenium即可自动安装,安装完成后,输入pip show selenium可查看当前的版本

python+selenium+chromedriver实现爬虫示例代码

方法二:直接下载selenium包:

selenium下载网址

Pychome安装selenium如果出现无法安装,参考以下博客
解决Pycharm无法使用已经安装Selenium的问题

3.禁止谷歌浏览器自动更新

搜索本地:管理工具-服务-Google自动更新服务-选择禁止

python+selenium+chromedriver实现爬虫示例代码

安装浏览器对应的驱动driver
我这里用的是谷歌,选择对应的驱动版本

驱动的下载地址如下:

http://chromedriver.storage.googleapis.com/index.html

python+selenium+chromedriver实现爬虫示例代码

python+selenium+chromedriver实现爬虫示例代码

win32、win64的都下载win32.zip的

将下载的chromedriver进行解压,并将文件复制或移动到,浏览器快捷方式所在目录。

环境变量配置
1.Python环境配置
2.chromedriver环境配置
3.pychrome的python环境指向自己电脑安装好的python

注意:将下载好的chromewebdriver.exe驱动放在Python的安装路径下的Scripts里面,同时将Scripts路径添加到PATH中,这样每次运行python的时候就会自动加载驱动

代码实现

#已经准备环境:webdriver:Google已经安装好;环境变量配置好;pip install selenium;
#selenium是一个包,包有很多对象,对象有属性,方法。
from selenium import webdriver
browser=webdriver.Chrome()#打开浏览器
url="https://news.qq.com/zt2020/page/feiyan.htm#/global?nojump=1"#获取数据的地址
#请求浏览器内容:请求方式:get,post,token
browser.get(url)
#css选择器,id选择器:#开头,class选择器:.开头,标签选择器:p,span,div。
coronavirus_countent=browser.find_element_by_class_name('d')#定位到class选择器d这个内容
print(coronavirus_countent)#查看内容,session,一种缓存机制,通过浏览器解析,然后缓存的内容
# <selenium.webdriver.remote.webelement.WebElement (session="a1aa22161543b44f599e97b35dbc1ac5", element="fe645993-43cb-46cf-83a7-2488dd3d838a")>
print(coronavirus_countent.text)#查看当前css.class中的d的内容

coronavirus_time=browser.find_element_by_class_name('ml')#定位到class选择器d这个内容
print(coronavirus_time.text)


coronavirus_data=browser.find_element_by_class_name('nowConfirm')#定位到class选择器d这个内容
print("=======")
print(coronavirus_data.text)

print("=====找nowConfirm下面的字内容")
coronavirus_sub=coronavirus_data.find_element_by_class_name('addnum')
print(coronavirus_sub.text)
browser.quit()

到此这篇关于python+selenium+chromedriver实现爬虫示例代码的文章就介绍到这了,更多相关python selenium chromedriver 爬虫内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
有关wxpython pyqt内存占用问题分析
Jun 09 Python
Python中的rjust()方法使用详解
May 19 Python
Python 使用SMTP发送邮件的代码小结
Sep 21 Python
python绘制铅球的运行轨迹代码分享
Nov 14 Python
python3连接MySQL数据库实例详解
May 24 Python
详解Python中的测试工具
Jun 09 Python
python 执行终端/控制台命令的例子
Jul 12 Python
python的常见矩阵运算(小结)
Aug 07 Python
python并发编程多进程之守护进程原理解析
Aug 20 Python
python ctypes库2_指定参数类型和返回类型详解
Nov 19 Python
python爬虫请求头设置代码
Jul 28 Python
7个关于Python的经典基础案例
Nov 07 Python
Python3操作读写CSV文件使用包过程解析
Apr 10 #Python
快速解决jupyter启动卡死的问题
Apr 10 #Python
Python操作Jira库常用方法解析
Apr 10 #Python
jupyter notebook 使用过程中python莫名崩溃的原因及解决方式
Apr 10 #Python
jupyter lab的目录调整及设置默认浏览器为chrome的方法
Apr 10 #Python
jupyter notebook 参数传递给shell命令行实例
Apr 10 #Python
调整Jupyter notebook的启动目录操作
Apr 10 #Python
You might like
浅析Laravel5中队列的配置及使用
2016/08/04 PHP
PHP正则匹配操作简单示例【preg_match_all应用】
2017/07/10 PHP
javascript下有关dom以及xml节点访问兼容问题
2007/11/26 Javascript
javascript 写类方式之九
2009/07/05 Javascript
javascript 支持链式调用的异步调用框架Async.Operation
2009/08/04 Javascript
js修改地址栏URL参数解决url参数问题
2012/12/15 Javascript
js和html5实现手机端刮刮卡抽奖效果完美兼容android/IOS
2013/11/18 Javascript
编写高效jQuery代码的4个原则和5个技巧
2014/04/24 Javascript
基于jquery实现的自动补全功能
2015/03/12 Javascript
jQuery插件StickUp实现网页导航置顶
2015/04/12 Javascript
js上传图片及预览功能实例分析
2015/04/24 Javascript
js中string和number类型互转换技巧(分享)
2016/11/28 Javascript
图片上传之FileAPI与NodeJs
2017/01/24 NodeJs
深入理解javascript的getTime()方法
2017/02/16 Javascript
BootStrap表单时间选择器详解
2017/05/09 Javascript
webpack实现热加载自动刷新的方法
2017/07/30 Javascript
Vue中props的使用详解
2018/06/15 Javascript
详解JavaScript中操作符和表达式
2018/09/12 Javascript
JS 数组基本用法入门示例解析
2020/01/16 Javascript
[02:56]DOTA2亚洲邀请赛 VG出场战队巡礼
2015/02/07 DOTA
Python功能键的读取方法
2015/05/28 Python
CentOS7.3编译安装Python3.6.2的方法
2018/01/22 Python
在Pytorch中使用样本权重(sample_weight)的正确方法
2019/08/17 Python
Python内置方法实现字符串的秘钥加解密(推荐)
2019/12/09 Python
pandas参数设置的实用小技巧
2020/08/23 Python
CSS3 Pie工具推荐--让IE6-8支持一些优秀的CSS3特性
2014/09/02 HTML / CSS
Steve Madden官网:美国鞋类品牌
2017/01/29 全球购物
戴森香港官方网站:Dyson香港
2021/02/11 全球购物
机械设计及其自动化专业推荐信
2013/10/31 职场文书
十佳青年个人事迹材料
2014/01/28 职场文书
财务内勤岗位职责
2014/04/17 职场文书
个人四风问题对照检查材料
2014/09/26 职场文书
重阳节活动主持词
2015/07/04 职场文书
解决python存数据库速度太慢的问题
2021/04/23 Python
vue判断按钮是否可以点击
2022/04/09 Vue.js
Vue OpenLayer测距功能的实现
2022/04/20 Vue.js