python+selenium+chromedriver实现爬虫示例代码


Posted in Python onApril 10, 2020

下载好所需程序

1.Selenium简介

Selenium是一个用于Web应用程序测试的工具,直接运行在浏览器中,就像真正的用户在操作一样。

2.Selenium安装

方法一:在Windows命令行(cmd)输入pip install selenium即可自动安装,安装完成后,输入pip show selenium可查看当前的版本

python+selenium+chromedriver实现爬虫示例代码

方法二:直接下载selenium包:

selenium下载网址

Pychome安装selenium如果出现无法安装,参考以下博客
解决Pycharm无法使用已经安装Selenium的问题

3.禁止谷歌浏览器自动更新

搜索本地:管理工具-服务-Google自动更新服务-选择禁止

python+selenium+chromedriver实现爬虫示例代码

安装浏览器对应的驱动driver
我这里用的是谷歌,选择对应的驱动版本

驱动的下载地址如下:

http://chromedriver.storage.googleapis.com/index.html

python+selenium+chromedriver实现爬虫示例代码

python+selenium+chromedriver实现爬虫示例代码

win32、win64的都下载win32.zip的

将下载的chromedriver进行解压,并将文件复制或移动到,浏览器快捷方式所在目录。

环境变量配置
1.Python环境配置
2.chromedriver环境配置
3.pychrome的python环境指向自己电脑安装好的python

注意:将下载好的chromewebdriver.exe驱动放在Python的安装路径下的Scripts里面,同时将Scripts路径添加到PATH中,这样每次运行python的时候就会自动加载驱动

代码实现

#已经准备环境:webdriver:Google已经安装好;环境变量配置好;pip install selenium;
#selenium是一个包,包有很多对象,对象有属性,方法。
from selenium import webdriver
browser=webdriver.Chrome()#打开浏览器
url="https://news.qq.com/zt2020/page/feiyan.htm#/global?nojump=1"#获取数据的地址
#请求浏览器内容:请求方式:get,post,token
browser.get(url)
#css选择器,id选择器:#开头,class选择器:.开头,标签选择器:p,span,div。
coronavirus_countent=browser.find_element_by_class_name('d')#定位到class选择器d这个内容
print(coronavirus_countent)#查看内容,session,一种缓存机制,通过浏览器解析,然后缓存的内容
# <selenium.webdriver.remote.webelement.WebElement (session="a1aa22161543b44f599e97b35dbc1ac5", element="fe645993-43cb-46cf-83a7-2488dd3d838a")>
print(coronavirus_countent.text)#查看当前css.class中的d的内容

coronavirus_time=browser.find_element_by_class_name('ml')#定位到class选择器d这个内容
print(coronavirus_time.text)


coronavirus_data=browser.find_element_by_class_name('nowConfirm')#定位到class选择器d这个内容
print("=======")
print(coronavirus_data.text)

print("=====找nowConfirm下面的字内容")
coronavirus_sub=coronavirus_data.find_element_by_class_name('addnum')
print(coronavirus_sub.text)
browser.quit()

到此这篇关于python+selenium+chromedriver实现爬虫示例代码的文章就介绍到这了,更多相关python selenium chromedriver 爬虫内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
重命名批处理python脚本
Apr 05 Python
常见的在Python中实现单例模式的三种方法
Apr 08 Python
Python实现爬虫从网络上下载文档的实例代码
Jun 13 Python
python打包生成的exe文件运行时提示缺少模块的解决方法
Oct 31 Python
python中类的属性和方法介绍
Nov 27 Python
PyCharm搭建Spark开发环境实现第一个pyspark程序
Jun 13 Python
Django如何实现网站注册用户邮箱验证功能
Aug 14 Python
使用Puppeteer爬取微信文章的实现
Feb 11 Python
python小白学习包管理器pip安装
Jun 09 Python
Python类及获取对象属性方法解析
Jun 15 Python
Django 权限管理(permissions)与用户组(group)详解
Nov 30 Python
Python用户自定义异常的实现
Dec 25 Python
Python3操作读写CSV文件使用包过程解析
Apr 10 #Python
快速解决jupyter启动卡死的问题
Apr 10 #Python
Python操作Jira库常用方法解析
Apr 10 #Python
jupyter notebook 使用过程中python莫名崩溃的原因及解决方式
Apr 10 #Python
jupyter lab的目录调整及设置默认浏览器为chrome的方法
Apr 10 #Python
jupyter notebook 参数传递给shell命令行实例
Apr 10 #Python
调整Jupyter notebook的启动目录操作
Apr 10 #Python
You might like
PHP 字符串正则替换函数preg_replace使用说明
2011/07/15 PHP
浅析php适配器模式(Adapter)
2014/11/25 PHP
Javascript 获取滚动条位置等信息的函数
2009/09/08 Javascript
关于juqery radio写法的兼容性问题(新老版本jquery)
2010/06/14 Javascript
jquery插件制作教程 txtHover
2012/08/17 Javascript
iframe异步加载实现点击左边菜单加载右边内容实例讲解
2013/03/04 Javascript
Jquery动态更改一张位图的src与Attr的使用
2013/07/31 Javascript
js中Image对象以及对其预加载处理示例
2013/11/20 Javascript
Jquery实现自定义tooltip示例代码
2014/02/12 Javascript
JavaScript点击按钮后弹出透明浮动层的方法
2015/05/11 Javascript
js检测用户输入密码强度
2015/10/22 Javascript
一波JavaScript日期判断脚本分享
2016/03/06 Javascript
JQuery中attr属性和jQuery.data()学习笔记【必看】
2016/05/18 Javascript
JavaScript浏览器对象之一Window对象详解
2016/06/03 Javascript
在线引用最新jquery文件的实现方法
2016/08/26 Javascript
BootStrap实现带有增删改查功能的表格(DEMO详解)
2016/10/26 Javascript
详解react-native WebView 返回处理(非回调方法可解决)
2018/02/27 Javascript
vue-router跳转时打开新页面的两种方法
2019/07/29 Javascript
浅谈vue异步数据影响页面渲染
2019/10/29 Javascript
javascript 数组精简技巧小结
2020/02/26 Javascript
[01:10]DOTA2亚洲邀请赛 征战号角响彻全场
2015/01/06 DOTA
python根据出生日期返回年龄的方法
2015/03/26 Python
python 执行shell命令并将结果保存的实例
2018/05/11 Python
scrapy-redis源码分析之发送POST请求详解
2019/05/15 Python
python字符串分割及字符串的一些常规方法
2019/07/24 Python
解决python多线程报错:AttributeError: Can't pickle local object问题
2020/04/08 Python
python实现在线翻译
2020/06/18 Python
Pycharm 设置默认解释器路径和编码格式的操作
2021/02/05 Python
不用游标的SQL语句有哪些
2012/09/07 面试题
经典广告词大全
2014/03/14 职场文书
2014年学习厉行节约反对浪费思想汇报
2014/09/10 职场文书
“向国旗敬礼”活动策划方案(4篇)
2014/09/27 职场文书
个人整改方案范文
2014/10/25 职场文书
教师“一帮一”结对子活动总结
2015/05/07 职场文书
2016年清明节期间群众祭祀活动工作总结
2016/04/01 职场文书
python自动统计zabbix系统监控覆盖率的示例代码
2021/04/03 Python