Python爬虫使用Selenium+PhantomJS抓取Ajax和动态HTML内容


Posted in Python onFebruary 23, 2018

1、引言

在Python网络爬虫内容提取器一文我们详细讲解了核心部件:可插拔的内容提取器类gsExtractor。本文记录了确定gsExtractor的技术路线过程中所做的编程实验。这是第二部分,第一部分实验了用xslt方式一次性提取静态网页内容并转换成xml格式。留下了一个问题:javascript管理的动态内容怎样提取?那么本文就回答这个问题。

2、提取动态内容的技术部件

在上一篇python使用xslt提取网页数据中,要提取的内容是直接从网页的source code里拿到的。但是一些Ajax动态内容是在source code找不到的,就要找合适的程序库把异步或动态加载的内容加载上来,交给本项目的提取器进行提取。

python可以使用selenium执行javascript,selenium可以让浏览器自动加载页面,获取需要的数据。selenium自己不带浏览器,可以使用第三方浏览器如Firefox,Chrome等,也可以使用headless浏览器如PhantomJS在后台执行。

3、源代码和实验过程

假如我们要抓取京东手机页面的手机名称和价格(价格在网页源码是找不到的),如下图:

Python爬虫使用Selenium+PhantomJS抓取Ajax和动态HTML内容

第一步:利用集搜客谋数台的直观标注功能,可以极快速度自动生成一个调试好的抓取规则,其实是一个标准的xslt程序,如下图,把生成的xslt程序拷贝到下面的程序中即可。注意:本文只是记录实验过程,实际系统中,将采用多种方式把xslt程序注入到内容提取器重。

Python爬虫使用Selenium+PhantomJS抓取Ajax和动态HTML内容

第二步:执行如下代码(在windows10, python3.2下测试通过,源代码下载地址请见文章末尾GitHub),请注意:xslt是一个比较长的字符串,如果删除这个字符串,代码没有几行,足以见得Python之强大

#/usr/bin/python 
from urllib import request 
from lxml import etree 
from selenium import webdriver 
import time 
 
# 京东手机商品页面 
url = "http://item.jd.com/1312640.html" 
 
# 下面的xslt是通过集搜客的谋数台图形界面自动生成的 
xslt_root = etree.XML("""\ 
<xsl:stylesheet version="1.0" xmlns:xsl="http://www.w3.org/1999/XSL/Transform" > 
<xsl:template match="/"> 
<商品> 
<xsl:apply-templates select="//*[@id='itemInfo' and count(.//*[@id='summary-price']/div[position()=2]/strong/text())>0 and count(.//*[@id='name']/h1/text())>0]" mode="商品"/> 
</商品> 
</xsl:template> 
 
<xsl:template match="//*[@id='itemInfo' and count(.//*[@id='summary-price']/div[position()=2]/strong/text())>0 and count(.//*[@id='name']/h1/text())>0]" mode="商品"> 
<item> 
<价格> 
<xsl:value-of select="*//*[@id='summary-price']/div[position()=2]/strong/text()"/> 
<xsl:value-of select="*[@id='summary-price']/div[position()=2]/strong/text()"/> 
<xsl:if test="@id='summary-price'"> 
<xsl:value-of select="div[position()=2]/strong/text()"/> 
</xsl:if> 
</价格> 
<名称> 
<xsl:value-of select="*//*[@id='name']/h1/text()"/> 
<xsl:value-of select="*[@id='name']/h1/text()"/> 
<xsl:if test="@id='name'"> 
<xsl:value-of select="h1/text()"/> 
</xsl:if> 
</名称> 
</item> 
</xsl:template> 
</xsl:stylesheet>""") 
 
# 使用webdriver.PhantomJS 
browser = webdriver.PhantomJS(executable_path='C:\\phantomjs-2.1.1-windows\\bin\\phantomjs.exe') 
browser.get(url) 
time.sleep(3) 
 
transform = etree.XSLT(xslt_root) 
 
# 执行js得到整个dom 
html = browser.execute_script("return document.documentElement.outerHTML") 
doc = etree.HTML(html) 
# 用xslt从dom中提取需要的字段 
result_tree = transform(doc) 
print(result_tree)

第三步:下图可以看到,网页中的手机名称和价格被正确抓取下来了

Python爬虫使用Selenium+PhantomJS抓取Ajax和动态HTML内容

4、接下来阅读

至此,我们通过两篇文章演示怎样抓取静态和动态网页内容,都采用了xslt一次性将需要的内容从网页上提取出来,其实xslt是一个比较复杂的程序语言,如果手工编写xslt,那么还不如写成离散的xpath。如果这个xslt不是手工写出来的,而是程序自动生成的,这就有意义了,程序员再也不要花时间编写和调测抓取规则了,这是很费时费力的工作。下一篇《1分钟快速生成用于网页内容提取的xslt》将讲述怎样生成xslt。

5、集搜客GooSeeker开源代码下载源

1. GooSeeker开源Python网络爬虫GitHub源

6、文档修改历史

2016-05-26:V2.0,增补文字说明
2016-05-29:V2.1,增加第五章:源代码下载源,并更换github源的网址

Python 相关文章推荐
python网络编程学习笔记(四):域名系统
Jun 09 Python
Python实现爬取逐浪小说的方法
Jul 07 Python
Python打印斐波拉契数列实例
Jul 07 Python
Python自定义类的数组排序实现代码
Aug 28 Python
python微信跳一跳游戏辅助代码解析
Jan 29 Python
python将txt文件读取为字典的示例
Dec 22 Python
python统计指定目录内文件的代码行数
Sep 19 Python
详解opencv中画圆circle函数和椭圆ellipse函数
Dec 27 Python
flask利用flask-wtf验证上传的文件的方法
Jan 17 Python
python中的测试框架
Nov 13 Python
Python实现王者荣耀自动刷金币的完整步骤
Jan 22 Python
python实现ROA算子边缘检测算法
Apr 05 Python
python爬虫获取多页天涯帖子
Feb 23 #Python
Python即时网络爬虫项目启动说明详解
Feb 23 #Python
Python爬豆瓣电影实例
Feb 23 #Python
Python抓取聚划算商品分析页面获取商品信息并以XML格式保存到本地
Feb 23 #Python
Python各类图像库的图片读写方式总结(推荐)
Feb 23 #Python
python自动发邮件库yagmail的示例代码
Feb 23 #Python
Python KMeans聚类问题分析
Feb 23 #Python
You might like
file_get_contents获取不到网页内容的解决方法
2013/03/07 PHP
php reset() 函数指针指向数组中的第一个元素并输出实例代码
2016/11/21 PHP
TP(thinkPHP)框架多层控制器和多级控制器的使用示例
2018/06/13 PHP
自己开发Dojo的建议框架
2008/09/24 Javascript
json实现前后台的相互传值详解
2015/01/05 Javascript
JavaScript中setFullYear()方法的使用详解
2015/06/11 Javascript
JavaScript 实现的 zip 压缩和解压缩工具包Zip.js使用详解
2015/12/14 Javascript
学习JavaScript设计模式之责任链模式
2016/01/18 Javascript
再谈Javascript中的异步以及如何异步
2016/08/19 Javascript
Js获取当前日期时间及格式化代码
2016/09/17 Javascript
JS实现拖动滚动条评分的效果代码分享
2016/09/29 Javascript
vue+vuex+json-seiver实现数据展示+分页功能
2019/04/11 Javascript
微信小程序 高德地图路线规划实现过程详解
2019/08/05 Javascript
[04:16]DOTA2英雄梦之声_第09期_斧王
2014/06/21 DOTA
使用Python编写简单网络爬虫抓取视频下载资源
2014/11/04 Python
Python Flask-web表单使用详解
2017/11/18 Python
Python 面试中 8 个必考问题
2018/11/16 Python
Django自定义用户登录认证示例代码
2019/06/30 Python
Python如何把多个PDF文件合并代码实例
2020/02/13 Python
python numpy实现多次循环读取文件 等间隔过滤数据示例
2020/03/14 Python
在Tensorflow中实现leakyRelu操作详解(高效)
2020/06/30 Python
java字符串格式化输出实例讲解
2021/01/06 Python
HearthSong官网:儿童户外玩具、儿童益智玩具
2017/10/16 全球购物
DJI美国:消费类无人机领域的领导者
2018/04/27 全球购物
英国独特家具和家庭用品购物网站:Cuckooland
2020/08/30 全球购物
50道外企软件测试面试题
2014/08/18 面试题
档案室主任岗位职责
2014/02/12 职场文书
市场营销计划书
2015/01/17 职场文书
西岭雪山导游词
2015/02/06 职场文书
2015教师个人工作总结范文
2015/03/31 职场文书
毕业答辩开场白范文
2015/05/27 职场文书
2016年5月份红领巾广播稿
2015/12/21 职场文书
《清澈的湖水》教学反思
2016/02/17 职场文书
八年级物理教学反思
2016/02/19 职场文书
创业计划书之个人工作室
2019/08/22 职场文书
解决Swagger2返回map复杂结构不能解析的问题
2021/07/02 Java/Android