浅谈python爬虫使用Selenium模拟浏览器行为


Posted in Python onFebruary 23, 2018

前几天有位微信读者问我一个爬虫的问题,就是在爬去百度贴吧首页的热门动态下面的图片的时候,爬取的图片总是爬取不完整,比首页看到的少。原因他也大概分析了下,就是后面的图片是动态加载的。他的问题就是这部分动态加载的图片该怎么爬取到。

分析

他的代码比较简单,主要有以下的步骤:使用BeautifulSoup库,打开百度贴吧的首页地址,再解析得到id为new_list标签底下的img标签,最后将img标签的图片保存下来。

headers = {
 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36'
}

data=requests.get("https://tieba.baidu.com/index.html",headers=headers)
html=BeautifulSoup(data.text,'lxml')

前面提到过,有部分图片是动态加载的,那么首先我们得弄清楚,这部分图片是怎么动态加载的。在浏览器中打开百度贴吧的首页,可以明显的看到,在往下滚动滚动条的时候,当滚动到底部的时候,滚动条缩短了,并向上移动了一段距离。这个现象也正是有DOM元素动态的添加到了html文档的一个表现。动态加载数据无非就是ajax请求,而ajax本质上就是XMLHttpRequest请求(简称xhr)。在谷歌浏览器中,我们可以通过开发者工具的network面板来监测xhr请求。

刚打开首页时的xhr请求,这里的请求都和要爬取的图片无关。

浅谈python爬虫使用Selenium模拟浏览器行为

滚动条向下第1次滚动到底部,这里请求的是第20-40条热门动态,包含要爬取图片。

浅谈python爬虫使用Selenium模拟浏览器行为

滚动条向下第2次滚动到底部,这里请求的是第40-60条热门动态,包含要爬取图片。并且返回的的has_more:false表明没有跟多数据了。

浅谈python爬虫使用Selenium模拟浏览器行为

滚动条向下第3次滚动到底部,再无xhr请求。

解决方案

根据上面的分析,我们已经明白,单纯使用BeautifulSoup进行爬虫的时候,只能爬取到1-20条热门动态里面的图片。为了爬取到完整的热门动态里面的图片,我们则需要模拟浏览器的滚动条滚动,让网页去触发xhr请求更多的热门动态。

在python中,如果需要模拟浏览器的行为,可以使用selenium库。selenium库是一个自动化测试框架,可以用来模拟测试浏览器的各种行为,这里我们使用它来模拟浏览器打开百度贴吧的首页,并模拟滚动条向下滚动到底部的操作。

安装

pip install selenium

下载浏览器驱动

火狐浏览器驱动,其下载地址是:https://github.com/mozilla/geckodriver/releases

谷歌浏览器驱动,其下载地址是:http://chromedriver.storage.googleapis.com/index.html?path=2.33/

opera浏览器驱动,其下载地址是:https://github.com/operasoftware/operachromiumdriver/releases

对照自己电脑安装的浏览器和对应的版本,分别从上面的地址下载驱动文件,也可以从我的github项目中统一下载以上几个驱动(地址:https://github.com/Sesshoumaru/attachments/tree/master/Selenium%20WebDriver)。下载解压后,将所在的目录添加系统的环境变量中。当然你也可以将下载下来的驱动放到python安装目录的lib目录中,因为它本身已经存在于环境变量(我就是这么干的)。

浅谈python爬虫使用Selenium模拟浏览器行为

使用python代码模拟浏览器行为

要使用selenium先需要定义一个具体browser对象,这里就定义的时候就看你电脑安装的具体浏览器和安装的哪个浏览器的驱动。这里以火狐浏览器为例:

from selenium import webdriver
browser = webdriver.Firefox()

再模拟打开贴吧首页:

browser.get(https://tieba.baidu.com/index.html)

再模拟滚动条滚动到底部

for i in range(1, 5):
 browser.execute_script('window.scrollTo(0, document.body.scrollHeight)')
 time.sleep(1)

最后再使用BeautifulSoup,解析图片标签:

html = BeautifulSoup(browser.page_source, "lxml")
imgs = html.select("#new_list li img")

几个注意点

必须安装浏览器和浏览器驱动,并且浏览器和浏览器驱动要配到

即如果使用谷歌浏览器模拟网页行为,则需要下载谷歌浏览器驱动;
如果使用火狐浏览器模拟网页行为,则需要下载火狐浏览器驱动

浏览器驱动所在的目录要在环境变量中,或者定义浏览器browser的时候指定驱动的路径

selenium更多用法

查找元素

from selenium import webdriver

browser = webdriver.Firefox()
browser.get("https://tieba.baidu.com/index.html")

new_list = browser.find_element_by_id('new_list')
user_name = browser.find_element_by_name ('user_name')
active = browser.find_element_by_class_name ('active')
p = browser.find_element_by_tag_name ('p')

# find_element_by_name 通过name查找单个元素
# find_element_by_xpath 通过xpath查找单个元素
# find_element_by_link_text 通过链接查找单个元素
# find_element_by_partial_link_text 通过部分链接查找单个元素
# find_element_by_tag_name 通过标签名称查找单个元素
# find_element_by_class_name 通过类名查找单个元素
# find_element_by_css_selector 通过css选择武器查找单个元素
# find_elements_by_name 通过name查找多个元素
# find_elements_by_xpath 通过xpath查找多个元素
# find_elements_by_link_text 通过链接查找多个元素
# find_elements_by_partial_link_text 通过部分链接查找多个元素
# find_elements_by_tag_name 通过标签名称查找多个元素
# find_elements_by_class_name 通过类名查找多个元素
# find_elements_by_css_selector 通过css选择武器查找多个元素

获取元素信息

btn_more = browser.find_element_by_id('btn_more')
print(btn_more.get_attribute('class')) # 获取属性
print(btn_more.get_attribute('href')) # 获取属性
print(btn_more.text) # 获取文本值

元素交互操作

btn_more = browser.find_element_by_id('btn_more')
btn_more.click() # 模拟点击,可以模拟点击加载更多

input_search = browser.find_element(By.ID,'q')
input_search.clear() # 清空输入

执行JavaScript

# 执行JavaScript脚本
browser.execute_script('window.scrollTo(0, document.body.scrollHeight)')
browser.execute_script('alert("To Bottom")')

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python常用列表数据结构小结
Aug 06 Python
Python的语言类型(详解)
Jun 24 Python
Python实现的文本编辑器功能示例
Jun 30 Python
Python常见字典内建函数用法示例
May 14 Python
Django实战之用户认证(初始配置)
Jul 16 Python
Django分页功能的实现代码详解
Jul 29 Python
python二进制读写及特殊码同步实现详解
Oct 11 Python
python隐藏类中属性的3种实现方法
Dec 19 Python
python通用读取vcf文件的类(复制粘贴即可用)
Feb 29 Python
python实现小程序推送页面收录脚本
Apr 20 Python
Python爬虫实战案例之爬取喜马拉雅音频数据详解
Dec 07 Python
Python使用pandas导入xlsx格式的excel文件内容操作代码
Dec 24 Python
python kmeans聚类简单介绍和实现代码
Feb 23 #Python
python MysqlDb模块安装及其使用详解
Feb 23 #Python
Python实现k-means算法
Feb 23 #Python
python语言中with as的用法使用详解
Feb 23 #Python
python实现定时自动备份文件到其他主机的实例代码
Feb 23 #Python
Python机器学习算法之k均值聚类(k-means)
Feb 23 #Python
python3调用R的示例代码
Feb 23 #Python
You might like
使用php伪造referer的方法 利用referer防止图片盗链
2014/01/20 PHP
PHP判断是否为空的几个函数对比
2015/04/21 PHP
PHP+jQuery+Ajax实现用户登录与退出
2015/04/27 PHP
CL vs ForZe BO5 第四场 2.13
2021/03/10 DOTA
在JavaScript中实现命名空间
2006/11/23 Javascript
javascript showModalDialog 多层模态窗口实现页面提交及刷新的代码
2009/11/28 Javascript
js parentElement和offsetParent之间的区别
2010/03/23 Javascript
使用jQuery的将桌面应用程序引入浏览器
2010/11/19 Javascript
在IE和VB中支持png图片透明效果的实现方法(vb源码打包)
2011/04/01 Javascript
jquery+css+ul模拟列表菜单具体实现思路
2013/04/15 Javascript
解析javascript 数组以及json元素的添加删除
2013/06/26 Javascript
Nodejs实现批量下载妹纸图
2015/05/28 NodeJs
快速掌握jQuery插件开发
2017/01/19 Javascript
js下载文件并修改文件名
2017/05/08 Javascript
微信小程序实现顶部普通选项卡效果(非swiper)
2020/06/19 Javascript
vue-router 组件复用问题详解
2018/01/22 Javascript
video.js 一个页面同时播放多个视频的实例代码
2018/11/27 Javascript
vue封装一个简单的div框选时间的组件的方法
2019/01/06 Javascript
vue 搭建后台系统模块化开发详解
2019/05/01 Javascript
使用layui前端框架弹出form表单以及提交的示例
2019/10/25 Javascript
在VUE style中使用data中的变量的方法
2020/06/19 Javascript
[03:28]2014DOTA2国际邀请赛 走近EG战队天才中单Arteezy
2014/07/12 DOTA
[06:11]2014DOTA2国际邀请赛 专访团结一心的VG战队
2014/07/21 DOTA
[01:16:01]VGJ.S vs Mski Supermajor小组赛C组 BO3 第一场 6.3
2018/06/04 DOTA
Pandas读写CSV文件的方法示例
2019/03/27 Python
浅谈Django+Gunicorn+Nginx部署之路
2019/09/11 Python
numpy.transpose()实现数组的转置例子
2019/12/02 Python
TensorFlow设置日志级别的几种方式小结
2020/02/04 Python
增大python字体的方法步骤
2020/07/05 Python
Omio俄罗斯:一次搜索公共汽车、火车和飞机的机票
2018/11/17 全球购物
优秀团员事迹材料1500字
2014/08/31 职场文书
统计工作个人总结
2015/03/03 职场文书
2015年打非治违工作总结
2015/04/02 职场文书
二年级数学教学反思
2016/02/16 职场文书
Spring Cloud OpenFeign模版化客户端
2022/06/25 Java/Android
如何利用python创作字符画
2022/06/25 Python