python+selenium+chromedriver实现爬虫示例代码


Posted in Python onApril 10, 2020

下载好所需程序

1.Selenium简介

Selenium是一个用于Web应用程序测试的工具,直接运行在浏览器中,就像真正的用户在操作一样。

2.Selenium安装

方法一:在Windows命令行(cmd)输入pip install selenium即可自动安装,安装完成后,输入pip show selenium可查看当前的版本

python+selenium+chromedriver实现爬虫示例代码

方法二:直接下载selenium包:

selenium下载网址

Pychome安装selenium如果出现无法安装,参考以下博客
解决Pycharm无法使用已经安装Selenium的问题

3.禁止谷歌浏览器自动更新

搜索本地:管理工具-服务-Google自动更新服务-选择禁止

python+selenium+chromedriver实现爬虫示例代码

安装浏览器对应的驱动driver
我这里用的是谷歌,选择对应的驱动版本

驱动的下载地址如下:

http://chromedriver.storage.googleapis.com/index.html

python+selenium+chromedriver实现爬虫示例代码

python+selenium+chromedriver实现爬虫示例代码

win32、win64的都下载win32.zip的

将下载的chromedriver进行解压,并将文件复制或移动到,浏览器快捷方式所在目录。

环境变量配置
1.Python环境配置
2.chromedriver环境配置
3.pychrome的python环境指向自己电脑安装好的python

注意:将下载好的chromewebdriver.exe驱动放在Python的安装路径下的Scripts里面,同时将Scripts路径添加到PATH中,这样每次运行python的时候就会自动加载驱动

代码实现

#已经准备环境:webdriver:Google已经安装好;环境变量配置好;pip install selenium;
#selenium是一个包,包有很多对象,对象有属性,方法。
from selenium import webdriver
browser=webdriver.Chrome()#打开浏览器
url="https://news.qq.com/zt2020/page/feiyan.htm#/global?nojump=1"#获取数据的地址
#请求浏览器内容:请求方式:get,post,token
browser.get(url)
#css选择器,id选择器:#开头,class选择器:.开头,标签选择器:p,span,div。
coronavirus_countent=browser.find_element_by_class_name('d')#定位到class选择器d这个内容
print(coronavirus_countent)#查看内容,session,一种缓存机制,通过浏览器解析,然后缓存的内容
# <selenium.webdriver.remote.webelement.WebElement (session="a1aa22161543b44f599e97b35dbc1ac5", element="fe645993-43cb-46cf-83a7-2488dd3d838a")>
print(coronavirus_countent.text)#查看当前css.class中的d的内容

coronavirus_time=browser.find_element_by_class_name('ml')#定位到class选择器d这个内容
print(coronavirus_time.text)


coronavirus_data=browser.find_element_by_class_name('nowConfirm')#定位到class选择器d这个内容
print("=======")
print(coronavirus_data.text)

print("=====找nowConfirm下面的字内容")
coronavirus_sub=coronavirus_data.find_element_by_class_name('addnum')
print(coronavirus_sub.text)
browser.quit()

到此这篇关于python+selenium+chromedriver实现爬虫示例代码的文章就介绍到这了,更多相关python selenium chromedriver 爬虫内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
python中的对象拷贝示例 python引用传递
Jan 23 Python
在Python中使用成员运算符的示例
May 13 Python
python 时间戳与格式化时间的转化实现代码
Mar 23 Python
简单实现python收发邮件功能
Jan 05 Python
Python实现快速傅里叶变换的方法(FFT)
Jul 21 Python
使用pytorch进行图像的顺序读取方法
Jul 27 Python
PyQt5 实现字体大小自适应分辨率的方法
Jun 18 Python
Python中PyQt5/PySide2的按钮控件使用实例
Aug 17 Python
Python代码生成视频的缩略图的实例讲解
Dec 22 Python
python通用读取vcf文件的类(复制粘贴即可用)
Feb 29 Python
python 带时区的日期格式化操作
Oct 23 Python
使用Pytorch实现two-head(多输出)模型的操作
May 28 Python
Python3操作读写CSV文件使用包过程解析
Apr 10 #Python
快速解决jupyter启动卡死的问题
Apr 10 #Python
Python操作Jira库常用方法解析
Apr 10 #Python
jupyter notebook 使用过程中python莫名崩溃的原因及解决方式
Apr 10 #Python
jupyter lab的目录调整及设置默认浏览器为chrome的方法
Apr 10 #Python
jupyter notebook 参数传递给shell命令行实例
Apr 10 #Python
调整Jupyter notebook的启动目录操作
Apr 10 #Python
You might like
很实用的一个完整email发送程序
2006/10/09 PHP
PHP Socket 编程
2010/04/09 PHP
PHP 一个随机字符串生成代码
2010/05/26 PHP
PHP源码之explode使用说明
2011/08/05 PHP
php中使用redis队列操作实例代码
2013/02/07 PHP
四种php中webservice实现的简单架构方法及实例
2015/02/03 PHP
PHP实现的折半查找算法示例
2017/12/19 PHP
JavaScript 组件之旅(四):测试 JavaScript 组件
2009/10/28 Javascript
jQuery实现Div拖动+键盘控制综合效果的方法
2015/03/10 Javascript
给before和after伪元素设置js效果的方法
2015/12/04 Javascript
JS实现的适合做faq或menu滑动效果示例
2016/11/17 Javascript
BootStrap表单宽度设置方法
2017/03/10 Javascript
详谈angularjs中路由页面强制更新的问题
2017/04/24 Javascript
基于Vue的SPA动态修改页面title的方法(推荐)
2018/01/02 Javascript
详解基于Vue,Nginx的前后端不分离部署教程
2018/12/04 Javascript
vue搜索和vue模糊搜索代码实例
2019/05/07 Javascript
JavaScript进阶(一)变量声明提升实例分析
2020/05/09 Javascript
[16:27]DOTA2 HEROS教学视频教你分分钟做大人-艾欧
2014/06/11 DOTA
[41:52]2018DOTA2亚洲邀请赛3月29日小组赛B组Effect VS Secret
2018/03/30 DOTA
[51:50]完美世界DOTA2联赛 Magma vs GXR 第一场 11.07
2020/11/10 DOTA
python基于BeautifulSoup实现抓取网页指定内容的方法
2015/07/09 Python
PyCharm搭建Spark开发环境的实现步骤
2019/09/05 Python
Pycharm 2020年最新激活码(亲测有效)
2020/09/18 Python
python 用struct模块解决黏包问题
2020/11/07 Python
Django利用elasticsearch(搜索引擎)实现搜索功能
2020/11/26 Python
python中最小二乘法详细讲解
2021/02/19 Python
大学毕业生通用求职信
2013/09/28 职场文书
机电一体化专业应届生求职信
2013/11/27 职场文书
北体毕业生求职信
2014/02/28 职场文书
机工车间主任岗位职责
2014/03/05 职场文书
母亲节感恩活动记录
2014/03/16 职场文书
我的中国梦演讲稿600字
2014/08/19 职场文书
工作检讨书怎么写
2015/01/23 职场文书
2015年女生节活动总结
2015/02/27 职场文书
如何书写公司员工保密协议?
2019/06/27 职场文书
导游词之烟台威海蓬莱
2019/11/14 职场文书