Python爬虫使用Selenium+PhantomJS抓取Ajax和动态HTML内容


Posted in Python onFebruary 23, 2018

1、引言

在Python网络爬虫内容提取器一文我们详细讲解了核心部件:可插拔的内容提取器类gsExtractor。本文记录了确定gsExtractor的技术路线过程中所做的编程实验。这是第二部分,第一部分实验了用xslt方式一次性提取静态网页内容并转换成xml格式。留下了一个问题:javascript管理的动态内容怎样提取?那么本文就回答这个问题。

2、提取动态内容的技术部件

在上一篇python使用xslt提取网页数据中,要提取的内容是直接从网页的source code里拿到的。但是一些Ajax动态内容是在source code找不到的,就要找合适的程序库把异步或动态加载的内容加载上来,交给本项目的提取器进行提取。

python可以使用selenium执行javascript,selenium可以让浏览器自动加载页面,获取需要的数据。selenium自己不带浏览器,可以使用第三方浏览器如Firefox,Chrome等,也可以使用headless浏览器如PhantomJS在后台执行。

3、源代码和实验过程

假如我们要抓取京东手机页面的手机名称和价格(价格在网页源码是找不到的),如下图:

Python爬虫使用Selenium+PhantomJS抓取Ajax和动态HTML内容

第一步:利用集搜客谋数台的直观标注功能,可以极快速度自动生成一个调试好的抓取规则,其实是一个标准的xslt程序,如下图,把生成的xslt程序拷贝到下面的程序中即可。注意:本文只是记录实验过程,实际系统中,将采用多种方式把xslt程序注入到内容提取器重。

Python爬虫使用Selenium+PhantomJS抓取Ajax和动态HTML内容

第二步:执行如下代码(在windows10, python3.2下测试通过,源代码下载地址请见文章末尾GitHub),请注意:xslt是一个比较长的字符串,如果删除这个字符串,代码没有几行,足以见得Python之强大

#/usr/bin/python 
from urllib import request 
from lxml import etree 
from selenium import webdriver 
import time 
 
# 京东手机商品页面 
url = "http://item.jd.com/1312640.html" 
 
# 下面的xslt是通过集搜客的谋数台图形界面自动生成的 
xslt_root = etree.XML("""\ 
<xsl:stylesheet version="1.0" xmlns:xsl="http://www.w3.org/1999/XSL/Transform" > 
<xsl:template match="/"> 
<商品> 
<xsl:apply-templates select="//*[@id='itemInfo' and count(.//*[@id='summary-price']/div[position()=2]/strong/text())>0 and count(.//*[@id='name']/h1/text())>0]" mode="商品"/> 
</商品> 
</xsl:template> 
 
<xsl:template match="//*[@id='itemInfo' and count(.//*[@id='summary-price']/div[position()=2]/strong/text())>0 and count(.//*[@id='name']/h1/text())>0]" mode="商品"> 
<item> 
<价格> 
<xsl:value-of select="*//*[@id='summary-price']/div[position()=2]/strong/text()"/> 
<xsl:value-of select="*[@id='summary-price']/div[position()=2]/strong/text()"/> 
<xsl:if test="@id='summary-price'"> 
<xsl:value-of select="div[position()=2]/strong/text()"/> 
</xsl:if> 
</价格> 
<名称> 
<xsl:value-of select="*//*[@id='name']/h1/text()"/> 
<xsl:value-of select="*[@id='name']/h1/text()"/> 
<xsl:if test="@id='name'"> 
<xsl:value-of select="h1/text()"/> 
</xsl:if> 
</名称> 
</item> 
</xsl:template> 
</xsl:stylesheet>""") 
 
# 使用webdriver.PhantomJS 
browser = webdriver.PhantomJS(executable_path='C:\\phantomjs-2.1.1-windows\\bin\\phantomjs.exe') 
browser.get(url) 
time.sleep(3) 
 
transform = etree.XSLT(xslt_root) 
 
# 执行js得到整个dom 
html = browser.execute_script("return document.documentElement.outerHTML") 
doc = etree.HTML(html) 
# 用xslt从dom中提取需要的字段 
result_tree = transform(doc) 
print(result_tree)

第三步:下图可以看到,网页中的手机名称和价格被正确抓取下来了

Python爬虫使用Selenium+PhantomJS抓取Ajax和动态HTML内容

4、接下来阅读

至此,我们通过两篇文章演示怎样抓取静态和动态网页内容,都采用了xslt一次性将需要的内容从网页上提取出来,其实xslt是一个比较复杂的程序语言,如果手工编写xslt,那么还不如写成离散的xpath。如果这个xslt不是手工写出来的,而是程序自动生成的,这就有意义了,程序员再也不要花时间编写和调测抓取规则了,这是很费时费力的工作。下一篇《1分钟快速生成用于网页内容提取的xslt》将讲述怎样生成xslt。

5、集搜客GooSeeker开源代码下载源

1. GooSeeker开源Python网络爬虫GitHub源

6、文档修改历史

2016-05-26:V2.0,增补文字说明
2016-05-29:V2.1,增加第五章:源代码下载源,并更换github源的网址

Python 相关文章推荐
Python简单格式化时间的方法【strftime函数】
Sep 18 Python
Python之ReportLab绘制条形码和二维码的实例
Jan 15 Python
pytorch构建网络模型的4种方法
Apr 13 Python
python 地图经纬度转换、纠偏的实例代码
Aug 06 Python
Python实现将数据写入netCDF4中的方法示例
Aug 30 Python
使用python 打开文件并做匹配处理的实例
Jan 02 Python
python中使用ctypes调用so传参设置遇到的问题及解决方法
Jun 19 Python
Python数据分析pandas模块用法实例详解
Nov 20 Python
详解python opencv、scikit-image和PIL图像处理库比较
Dec 26 Python
Python基于Socket实现简单聊天室
Feb 17 Python
Python实现获取当前目录下文件名代码详解
Mar 10 Python
python爬虫利用selenium实现自动翻页爬取某鱼数据的思路详解
Dec 22 Python
python爬虫获取多页天涯帖子
Feb 23 #Python
Python即时网络爬虫项目启动说明详解
Feb 23 #Python
Python爬豆瓣电影实例
Feb 23 #Python
Python抓取聚划算商品分析页面获取商品信息并以XML格式保存到本地
Feb 23 #Python
Python各类图像库的图片读写方式总结(推荐)
Feb 23 #Python
python自动发邮件库yagmail的示例代码
Feb 23 #Python
Python KMeans聚类问题分析
Feb 23 #Python
You might like
终于听上了直流胆调频
2021/03/02 无线电
PHP常见字符串处理函数用法示例【转换,转义,截取,比较,查找,反转,切割】
2016/12/24 PHP
Laravel框架搜索分页功能示例
2019/02/01 PHP
PHP单元测试配置与使用方法详解
2019/12/27 PHP
jquery判断checkbox(复选框)是否被选中的代码
2010/10/20 Javascript
基于jquery的不规则矩形的排列实现代码
2012/04/16 Javascript
javascript设计模式 封装和信息隐藏(上)
2012/07/24 Javascript
JS+CSS 制作的超级简单的下拉菜单附图
2013/11/22 Javascript
js选项卡的实现方法
2015/02/09 Javascript
jquery实现相册一下滑动两次的方法
2015/02/09 Javascript
JS中使用变量保存arguments对象的方法
2016/06/03 Javascript
JavaScript浏览器对象模型BOM(BrowserObjectModel)实例详解
2016/11/29 Javascript
vue-cli脚手架搭建的项目去除eslint验证的方法
2018/09/29 Javascript
JS实现textarea通过换行或者回车把多行数字分割成数组并且去掉数组中空的值
2018/10/29 Javascript
Fetch超时设置与终止请求详解
2019/05/18 Javascript
Vue登录主页动态背景短视频制作
2019/09/21 Javascript
JS对象属性的检测与获取操作实例分析
2020/03/17 Javascript
Vue指令实现OutClick的示例
2020/11/16 Javascript
python超简单解决约瑟夫环问题
2015/05/12 Python
在Python中操作文件之truncate()方法的使用教程
2015/05/25 Python
python字典键值对的添加和遍历方法
2016/09/11 Python
Python编程求质数实例代码
2018/01/31 Python
对DJango视图(views)和模版(templates)的使用详解
2019/07/17 Python
Django 拆分model和view的实现方法
2019/08/16 Python
python [:3] 实现提取数组中的数
2019/11/27 Python
基于Python实现人脸自动戴口罩系统
2020/02/06 Python
如何通过python实现IOU计算代码实例
2020/11/02 Python
python实现图片,视频人脸识别(opencv版)
2020/11/18 Python
Styleonme中文网:韩国高档人气品牌
2017/06/21 全球购物
Java里面有没有全局变量?为什么?
2015/02/06 面试题
档案信息化建设方案
2014/05/16 职场文书
教师敬业奉献模范事迹材料
2014/05/18 职场文书
物业公司的岗位任命书
2014/06/06 职场文书
注册资产评估专业求职信
2014/07/16 职场文书
大学生党员个人剖析材料
2014/10/08 职场文书
2014年党建工作汇报材料
2014/11/02 职场文书