Python 抓取动态网页内容方案详解


Posted in Python onDecember 25, 2014

用Python实现常规的静态网页抓取时,往往是用urllib2来获取整个HTML页面,然后从HTML文件中逐字查找对应的关键字。如下所示:

import urllib2

url="http://mm.taobao.com/json/request_top_list.htm?type=0&page=1"

up=urllib2.urlopen(url)#打开目标页面,存入变量up

cont=up.read()#从up中读入该HTML文件

key1='<a href="http'#设置关键字1

key2="target"#设置关键字2

pa=cont.find(key1)#找出关键字1的位置

pt=cont.find(key2,pa)#找出关键字2的位置(从字1后面开始查找)

urlx=cont[pa:pt]#得到关键字1与关键字2之间的内容(即想要的数据)

print urlx

但是,在动态页面中,所显示的内容往往不是通过HTML页面呈现的,而是通过调用js等方式从数据库中得到数据,回显到网页上。以发改委网站上的“备案信息”(http://beian.hndrc.gov.cn/)为例,要抓取此页面中的某些备案项目。例如“http://beian.hndrc.gov.cn/indexinvestment.jsp?id=162518”。

那么,在浏览器中打开此页面:

Python 抓取动态网页内容方案详解

相关信息都显示的很全了,但是如果按照之前的办法:

up=urllib2.urlopen(url)

cont=up.read()

就抓取不到上述内容了。

我们查看一下这个页面对应的源码:

Python 抓取动态网页内容方案详解

由源码可以看出,这个《备案确认书》属于“填空”形式的,HTML提供文字模板,js根据不同的id提供不同的变量,“填入”到文字模板中,形成了一个具体的《备案确认书》。所以单纯抓取此HTML,只能得到一些文字模板,而无法得到具体内容。

那么,该如何找到那些具体内容呢?可以利用Chrome的“开发者工具”来寻找谁是真正的内容提供者。

打开Chrome浏览器,按下键盘F12即可呼出此工具。如下图:

Python 抓取动态网页内容方案详解

此时选中“Network”标签,在地址栏中输入此页面“http://beian.hndrc.gov.cn/indexinvestment.jsp?id=162518”,浏览器会分析出此次响应的全过程,而红框内的文件,就是此次响应中,浏览器和web后端的所有通信。

Python 抓取动态网页内容方案详解

因为要获得不同企业对应的不同信息,那么浏览器发送给服务器的请求里面一定会有一个和当前企业id有关的参数。

那么,参数是多少呢?URL上有,是“jsp?id=162518”,问号表示要调用参数,后面跟的是id号即是被调用的参数。而通过对这几个文件的分析,很显然,企业信息存在于“indexinvestment.action”文件中。

Python 抓取动态网页内容方案详解

然而,双击打开此文件并不能获得企业信息,而是一堆代码。因为没有对应的参数为它指明要显示第几号的信息。如图:

Python 抓取动态网页内容方案详解

那么,应该如何将参数传递给它呢?这时我们仍旧看F12窗口:

Python 抓取动态网页内容方案详解

“Header”一栏中明确地显示出了此次响应的过程:

对目标URL,用POST的方式,传递了一个id为162518的参数。

我们先手工操作一下。js是如何调用参数的呢?对,上面说过:问号+变量名+等号+变量对应的数字。也就是说,向“http://beian.hndrc.gov.cn/indexinvestment.action”这个页面提交id为162518的参数时,应该在URL后面加上

“?id=162518”,即

“http://beian.hndrc.gov.cn/indexinvestment.action?id=162518”。

我们把这个URL粘贴到浏览器中来看:

Python 抓取动态网页内容方案详解

似乎有了点内容,可是都是乱码啊,怎么破?熟悉的朋友可能一眼就看出来,这是编码的问题。是因为响应回来的内容与浏览器默认的编码方式不同。只需要在Chrome右上角菜单——更多工具——编码——“自动检测”即可。(其实这是UTF-8的编码,而Chrome默认的是中文简体)。如下图:

Python 抓取动态网页内容方案详解

好了,真正的信息源已经被挖出,剩下的就是用Python处理这些页面上的字符串,然后剪切、拼接,重新组成新的《项目备案书》了。

再然后使用for、while等循环,批量获取这些《备案书》。

正如“不论是静态网页,动态网页,模拟登陆等,都要先分析、搞懂逻辑,再去写代码”所说,编程语言只是一个工具,重要的是解决问题的思路。有了思路,再寻找趁手的工具去解决,就OK了。

Python 相关文章推荐
Python入门篇之编程习惯与特点
Oct 17 Python
win10下tensorflow和matplotlib安装教程
Sep 19 Python
python实现飞机大战游戏
Oct 26 Python
python程序 创建多线程过程详解
Sep 23 Python
python实现单目标、多目标、多尺度、自定义特征的KCF跟踪算法(实例代码)
Jan 08 Python
在pycharm中为项目导入anacodna环境的操作方法
Feb 12 Python
Pycharm如何运行.py文件的方法步骤
Mar 03 Python
Jupyter notebook设置背景主题,字体大小及自动补全代码的操作
Apr 13 Python
python求numpy中array按列非零元素的平均值案例
Jun 08 Python
Biblibili视频投稿接口分析并以Python实现自动投稿功能
Feb 05 Python
教你用python实现一个无界面的小型图书管理系统
May 21 Python
virtualenv隔离Python环境的问题解析
Jun 21 Python
利用Psyco提升Python运行速度
Dec 24 #Python
Python解决鸡兔同笼问题的方法
Dec 20 #Python
Python列表计数及插入实例
Dec 17 #Python
Python二维码生成库qrcode安装和使用示例
Dec 16 #Python
Mac下Supervisor进程监控管理工具的安装与配置
Dec 16 #Python
Python 正则表达式(转义问题)
Dec 15 #Python
python正则表达式中的括号匹配问题
Dec 14 #Python
You might like
PHP实现抽奖功能实例代码
2020/06/30 PHP
js实现省市联动效果的简单实例
2014/02/10 Javascript
Javascript浮点数乘积运算出现多位小数的解决方法
2014/02/17 Javascript
js文件Cookie存取值示例代码
2014/02/20 Javascript
jQuery实现的一个自定义Placeholder属性插件
2014/08/11 Javascript
node.js中的fs.fstatSync方法使用说明
2014/12/15 Javascript
JavaScript实现添加及删除事件的方法小结
2015/08/04 Javascript
Bootstrap表单布局
2016/07/19 Javascript
JavaScript数据结构之二叉树的查找算法示例
2017/04/13 Javascript
VUE2实现事件驱动弹窗示例
2017/10/21 Javascript
原生JS进行前后端同构
2018/04/22 Javascript
基于Vue2x的图片预览插件的示例代码
2018/05/14 Javascript
AngularJS上传文件的示例代码
2018/11/10 Javascript
jQuery访问json文件中数据的方法示例
2019/01/28 jQuery
JS实现的字符串数组去重功能小结
2019/06/17 Javascript
Vue 使用iframe引用html页面实现vue和html页面方法的调用操作
2020/11/16 Javascript
[01:01:24]DOTA2上海特级锦标赛A组败者赛 EHOME VS CDEC第三局
2016/02/25 DOTA
[01:04:05]Mineski vs TNC 2019国际邀请赛小组赛 BO2 第一场 8.15
2019/08/16 DOTA
python获取url的返回信息方法
2018/12/17 Python
python利用selenium进行浏览器爬虫
2019/04/25 Python
python如何爬取网站数据并进行数据可视化
2019/07/08 Python
Python Pillow.Image 图像保存和参数选择方式
2020/01/09 Python
Anaconda和ipython环境适配的实现
2020/04/22 Python
python3 sleep 延时秒 毫秒实例
2020/05/04 Python
大学生入党思想汇报
2014/01/14 职场文书
大学生作弊检讨书
2014/02/19 职场文书
学校春季防火方案
2014/06/08 职场文书
幼儿老师求职信
2014/06/30 职场文书
机关干部四风问题自查报告及整改措施
2014/10/26 职场文书
老干部工作汇报材料
2014/10/28 职场文书
民事撤诉申请书范本
2015/05/18 职场文书
2015年新农村建设工作总结
2015/05/22 职场文书
2015年创先争优工作总结
2015/05/23 职场文书
教导处教学工作总结
2015/08/12 职场文书
MyBatis核心源码深度剖析SQL语句执行过程
2022/05/20 Java/Android
windows server 2012安装FTP并配置被动模式指定开放端口
2022/06/10 Servers