Python 抓取动态网页内容方案详解


Posted in Python onDecember 25, 2014

用Python实现常规的静态网页抓取时,往往是用urllib2来获取整个HTML页面,然后从HTML文件中逐字查找对应的关键字。如下所示:

import urllib2

url="http://mm.taobao.com/json/request_top_list.htm?type=0&page=1"

up=urllib2.urlopen(url)#打开目标页面,存入变量up

cont=up.read()#从up中读入该HTML文件

key1='<a href="http'#设置关键字1

key2="target"#设置关键字2

pa=cont.find(key1)#找出关键字1的位置

pt=cont.find(key2,pa)#找出关键字2的位置(从字1后面开始查找)

urlx=cont[pa:pt]#得到关键字1与关键字2之间的内容(即想要的数据)

print urlx

但是,在动态页面中,所显示的内容往往不是通过HTML页面呈现的,而是通过调用js等方式从数据库中得到数据,回显到网页上。以发改委网站上的“备案信息”(http://beian.hndrc.gov.cn/)为例,要抓取此页面中的某些备案项目。例如“http://beian.hndrc.gov.cn/indexinvestment.jsp?id=162518”。

那么,在浏览器中打开此页面:

Python 抓取动态网页内容方案详解

相关信息都显示的很全了,但是如果按照之前的办法:

up=urllib2.urlopen(url)

cont=up.read()

就抓取不到上述内容了。

我们查看一下这个页面对应的源码:

Python 抓取动态网页内容方案详解

由源码可以看出,这个《备案确认书》属于“填空”形式的,HTML提供文字模板,js根据不同的id提供不同的变量,“填入”到文字模板中,形成了一个具体的《备案确认书》。所以单纯抓取此HTML,只能得到一些文字模板,而无法得到具体内容。

那么,该如何找到那些具体内容呢?可以利用Chrome的“开发者工具”来寻找谁是真正的内容提供者。

打开Chrome浏览器,按下键盘F12即可呼出此工具。如下图:

Python 抓取动态网页内容方案详解

此时选中“Network”标签,在地址栏中输入此页面“http://beian.hndrc.gov.cn/indexinvestment.jsp?id=162518”,浏览器会分析出此次响应的全过程,而红框内的文件,就是此次响应中,浏览器和web后端的所有通信。

Python 抓取动态网页内容方案详解

因为要获得不同企业对应的不同信息,那么浏览器发送给服务器的请求里面一定会有一个和当前企业id有关的参数。

那么,参数是多少呢?URL上有,是“jsp?id=162518”,问号表示要调用参数,后面跟的是id号即是被调用的参数。而通过对这几个文件的分析,很显然,企业信息存在于“indexinvestment.action”文件中。

Python 抓取动态网页内容方案详解

然而,双击打开此文件并不能获得企业信息,而是一堆代码。因为没有对应的参数为它指明要显示第几号的信息。如图:

Python 抓取动态网页内容方案详解

那么,应该如何将参数传递给它呢?这时我们仍旧看F12窗口:

Python 抓取动态网页内容方案详解

“Header”一栏中明确地显示出了此次响应的过程:

对目标URL,用POST的方式,传递了一个id为162518的参数。

我们先手工操作一下。js是如何调用参数的呢?对,上面说过:问号+变量名+等号+变量对应的数字。也就是说,向“http://beian.hndrc.gov.cn/indexinvestment.action”这个页面提交id为162518的参数时,应该在URL后面加上

“?id=162518”,即

“http://beian.hndrc.gov.cn/indexinvestment.action?id=162518”。

我们把这个URL粘贴到浏览器中来看:

Python 抓取动态网页内容方案详解

似乎有了点内容,可是都是乱码啊,怎么破?熟悉的朋友可能一眼就看出来,这是编码的问题。是因为响应回来的内容与浏览器默认的编码方式不同。只需要在Chrome右上角菜单——更多工具——编码——“自动检测”即可。(其实这是UTF-8的编码,而Chrome默认的是中文简体)。如下图:

Python 抓取动态网页内容方案详解

好了,真正的信息源已经被挖出,剩下的就是用Python处理这些页面上的字符串,然后剪切、拼接,重新组成新的《项目备案书》了。

再然后使用for、while等循环,批量获取这些《备案书》。

正如“不论是静态网页,动态网页,模拟登陆等,都要先分析、搞懂逻辑,再去写代码”所说,编程语言只是一个工具,重要的是解决问题的思路。有了思路,再寻找趁手的工具去解决,就OK了。

Python 相关文章推荐
详解Python中break语句的用法
May 14 Python
以windows service方式运行Python程序的方法
Jun 03 Python
Python之os操作方法(详解)
Jun 15 Python
numpy matrix和array的乘和加实例
Jun 28 Python
Python学习笔记之文件的读写操作实例分析
Aug 07 Python
python tkinter图形界面代码统计工具
Sep 18 Python
使用pytorch搭建AlexNet操作(微调预训练模型及手动搭建)
Jan 18 Python
Python Django2 model 查询介绍(条件、范围、模糊查询)
Mar 16 Python
Python字符串查找基本操作代码案例
Oct 27 Python
python eventlet绿化和patch原理
Nov 21 Python
python绘制简单直方图(质量分布图)的方法
Apr 21 Python
LyScript实现绕过反调试保护的示例详解
Aug 14 Python
利用Psyco提升Python运行速度
Dec 24 #Python
Python解决鸡兔同笼问题的方法
Dec 20 #Python
Python列表计数及插入实例
Dec 17 #Python
Python二维码生成库qrcode安装和使用示例
Dec 16 #Python
Mac下Supervisor进程监控管理工具的安装与配置
Dec 16 #Python
Python 正则表达式(转义问题)
Dec 15 #Python
python正则表达式中的括号匹配问题
Dec 14 #Python
You might like
PL-880隐藏功能
2021/03/01 无线电
基于PHP对XML的操作详解
2013/06/07 PHP
thinkphp中html:list标签传递多个参数实例
2014/10/30 PHP
PHP打开和关闭文件操作函数总结
2014/11/18 PHP
PHP内存溢出优化代码详解
2021/02/26 PHP
JS加ASP二级域名转向的代码
2007/05/17 Javascript
javascript天然的迭代器
2010/10/29 Javascript
JavaScript高级程序设计阅读笔记(十六) javascript检测浏览器和操作系统-detect.js
2012/08/14 Javascript
javascript分页代码(当前页码居中)
2012/09/20 Javascript
浅析showModalDialog数据缓存问题(用禁止浏览器缓存解决)
2013/07/09 Javascript
jquery 淡入淡出效果的简单实现
2014/02/07 Javascript
jQuery搜索子元素的方法
2015/02/10 Javascript
深入学习jQuery Validate表单验证(二)
2016/01/18 Javascript
jQuery+canvas实现简单的球体斜抛及颜色动态变换效果
2016/01/28 Javascript
JS给swf传参数的实现方法
2016/09/13 Javascript
移动端滑动插件Swipe教程
2016/10/16 Javascript
jQuery实现级联下拉框实战(5)
2017/02/08 Javascript
详解使用fetch发送post请求时的参数处理
2017/04/05 Javascript
Angular通过angular-cli来搭建web前端项目的方法
2017/07/27 Javascript
10个经典的网页鼠标特效代码
2018/01/09 Javascript
详解vue-cli3多环境打包配置
2019/03/28 Javascript
Python中处理时间的几种方法小结
2015/04/09 Python
详细探究Python中的字典容器
2015/04/14 Python
用Python实现斐波那契(Fibonacci)函数
2016/03/25 Python
Python实现的HMacMD5加密算法示例
2018/04/03 Python
Python 动态导入对象,importlib.import_module()的使用方法
2019/08/28 Python
flask框架自定义过滤器示例【markdown文件读取和展示功能】
2019/11/08 Python
Python列表list操作相关知识小结
2020/01/29 Python
基于Python-Pycharm实现的猴子摘桃小游戏(源代码)
2021/02/20 Python
HTML5拖放API实现自动生成相框功能
2020/04/07 HTML / CSS
英国最大的手表网站:The Watch Hut
2017/03/31 全球购物
毕业生精彩的自我评价分享
2013/10/06 职场文书
休假证明书
2015/06/24 职场文书
《去年的树》教学反思
2016/02/18 职场文书
2016年优秀少先队辅导员事迹材料
2016/02/26 职场文书
python游戏开发Pygame框架
2022/04/22 Python