python+selenium+chromedriver实现爬虫示例代码


Posted in Python onApril 10, 2020

下载好所需程序

1.Selenium简介

Selenium是一个用于Web应用程序测试的工具,直接运行在浏览器中,就像真正的用户在操作一样。

2.Selenium安装

方法一:在Windows命令行(cmd)输入pip install selenium即可自动安装,安装完成后,输入pip show selenium可查看当前的版本

python+selenium+chromedriver实现爬虫示例代码

方法二:直接下载selenium包:

selenium下载网址

Pychome安装selenium如果出现无法安装,参考以下博客
解决Pycharm无法使用已经安装Selenium的问题

3.禁止谷歌浏览器自动更新

搜索本地:管理工具-服务-Google自动更新服务-选择禁止

python+selenium+chromedriver实现爬虫示例代码

安装浏览器对应的驱动driver
我这里用的是谷歌,选择对应的驱动版本

驱动的下载地址如下:

http://chromedriver.storage.googleapis.com/index.html

python+selenium+chromedriver实现爬虫示例代码

python+selenium+chromedriver实现爬虫示例代码

win32、win64的都下载win32.zip的

将下载的chromedriver进行解压,并将文件复制或移动到,浏览器快捷方式所在目录。

环境变量配置
1.Python环境配置
2.chromedriver环境配置
3.pychrome的python环境指向自己电脑安装好的python

注意:将下载好的chromewebdriver.exe驱动放在Python的安装路径下的Scripts里面,同时将Scripts路径添加到PATH中,这样每次运行python的时候就会自动加载驱动

代码实现

#已经准备环境:webdriver:Google已经安装好;环境变量配置好;pip install selenium;
#selenium是一个包,包有很多对象,对象有属性,方法。
from selenium import webdriver
browser=webdriver.Chrome()#打开浏览器
url="https://news.qq.com/zt2020/page/feiyan.htm#/global?nojump=1"#获取数据的地址
#请求浏览器内容:请求方式:get,post,token
browser.get(url)
#css选择器,id选择器:#开头,class选择器:.开头,标签选择器:p,span,div。
coronavirus_countent=browser.find_element_by_class_name('d')#定位到class选择器d这个内容
print(coronavirus_countent)#查看内容,session,一种缓存机制,通过浏览器解析,然后缓存的内容
# <selenium.webdriver.remote.webelement.WebElement (session="a1aa22161543b44f599e97b35dbc1ac5", element="fe645993-43cb-46cf-83a7-2488dd3d838a")>
print(coronavirus_countent.text)#查看当前css.class中的d的内容

coronavirus_time=browser.find_element_by_class_name('ml')#定位到class选择器d这个内容
print(coronavirus_time.text)


coronavirus_data=browser.find_element_by_class_name('nowConfirm')#定位到class选择器d这个内容
print("=======")
print(coronavirus_data.text)

print("=====找nowConfirm下面的字内容")
coronavirus_sub=coronavirus_data.find_element_by_class_name('addnum')
print(coronavirus_sub.text)
browser.quit()

到此这篇关于python+selenium+chromedriver实现爬虫示例代码的文章就介绍到这了,更多相关python selenium chromedriver 爬虫内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
python thread 并发且顺序运行示例
Apr 09 Python
使用Python的PIL模块来进行图片对比
Feb 18 Python
Python中绑定与未绑定的类方法用法分析
Apr 29 Python
Python Numpy库datetime类型的处理详解
Jul 13 Python
Django 实现Admin自动填充当前用户的示例代码
Nov 18 Python
基于TensorFlow中自定义梯度的2种方式
Feb 04 Python
Pyqt5 关于流式布局和滚动条的综合使用示例代码
Mar 24 Python
Python基于numpy模块实现回归预测
May 14 Python
Python带参数的装饰器运行原理解析
Jun 09 Python
django filter过滤器实现显示某个类型指定字段不同值方式
Jul 16 Python
Python字符串及文本模式方法详解
Sep 10 Python
python中字符串String及其常见操作指南(方法、函数)
Apr 06 Python
Python3操作读写CSV文件使用包过程解析
Apr 10 #Python
快速解决jupyter启动卡死的问题
Apr 10 #Python
Python操作Jira库常用方法解析
Apr 10 #Python
jupyter notebook 使用过程中python莫名崩溃的原因及解决方式
Apr 10 #Python
jupyter lab的目录调整及设置默认浏览器为chrome的方法
Apr 10 #Python
jupyter notebook 参数传递给shell命令行实例
Apr 10 #Python
调整Jupyter notebook的启动目录操作
Apr 10 #Python
You might like
PHP采集类snoopy详细介绍(snoopy使用教程)
2014/06/19 PHP
PHP中提问频率最高的11个面试题和答案
2014/09/02 PHP
PHP 实现判断用户是否手机访问
2015/01/21 PHP
Windows下Apache + PHP SESSION丢失的解决过程全纪录
2015/04/07 PHP
详解PHP+AJAX无刷新分页实现方法
2015/11/03 PHP
PHP数据库表操作的封装类及用法实例详解
2016/07/12 PHP
PHP使用preg_split()分割特殊字符(元字符等)的方法分析
2017/02/04 PHP
PHP 中常量的知识整理
2017/04/14 PHP
laravel框架模型、视图与控制器简单操作示例
2019/10/10 PHP
Nigma vs Alliance BO5 第三场2.14
2021/03/10 DOTA
javascript的事件描述
2006/09/08 Javascript
JavaScript Eval 函数使用
2010/03/23 Javascript
那些年,我还在学习jquery 学习笔记
2012/03/05 Javascript
iframe里的页面禁止右键事件的方法
2014/06/10 Javascript
IE中document.createElement的iframe无法设置属性name的解决方法
2015/09/14 Javascript
设置jQueryUI DatePicker默认语言为中文
2016/06/04 Javascript
微信小程序  audio音频播放详解及实例
2016/11/02 Javascript
通过sails和阿里大于实现短信验证
2017/01/04 Javascript
canvas实现绘制吃豆鱼效果
2017/01/12 Javascript
微信小程序使用slider设置数据值及switch开关组件功能【附源码下载】
2017/12/09 Javascript
详解swiper在vue中的应用(以3.0为例)
2018/09/20 Javascript
原生js滑动轮播封装
2020/07/31 Javascript
python和shell实现的校验IP地址合法性脚本分享
2014/10/23 Python
Python基于PycURL自动处理cookie的方法
2015/07/25 Python
Python实现的爬取百度贴吧图片功能完整示例
2019/05/10 Python
python向字符串中添加元素的实例方法
2019/06/28 Python
python Socket网络编程实现C/S模式和P2P
2020/06/22 Python
使用Keras预训练好的模型进行目标类别预测详解
2020/06/27 Python
Chain Reaction Cycles芬兰:世界上最大的在线自行车商店
2017/12/06 全球购物
Lulu Guinness露露·吉尼斯官网:红唇包
2019/02/03 全球购物
英国标准协会商店:BSI Shop
2019/02/25 全球购物
Otticanet美国:最顶尖的世界名牌眼镜, 能得到打折季的价格
2019/03/10 全球购物
Diamondback自行车:拥有你的冒险
2019/04/22 全球购物
采购助理岗位职责
2014/02/16 职场文书
副主任竞聘演讲稿
2014/08/18 职场文书
Spring this调用当前类方法无法拦截的示例代码
2022/03/20 Java/Android