Python 抓取动态网页内容方案详解


Posted in Python onDecember 25, 2014

用Python实现常规的静态网页抓取时,往往是用urllib2来获取整个HTML页面,然后从HTML文件中逐字查找对应的关键字。如下所示:

import urllib2

url="http://mm.taobao.com/json/request_top_list.htm?type=0&page=1"

up=urllib2.urlopen(url)#打开目标页面,存入变量up

cont=up.read()#从up中读入该HTML文件

key1='<a href="http'#设置关键字1

key2="target"#设置关键字2

pa=cont.find(key1)#找出关键字1的位置

pt=cont.find(key2,pa)#找出关键字2的位置(从字1后面开始查找)

urlx=cont[pa:pt]#得到关键字1与关键字2之间的内容(即想要的数据)

print urlx

但是,在动态页面中,所显示的内容往往不是通过HTML页面呈现的,而是通过调用js等方式从数据库中得到数据,回显到网页上。以发改委网站上的“备案信息”(http://beian.hndrc.gov.cn/)为例,要抓取此页面中的某些备案项目。例如“http://beian.hndrc.gov.cn/indexinvestment.jsp?id=162518”。

那么,在浏览器中打开此页面:

Python 抓取动态网页内容方案详解

相关信息都显示的很全了,但是如果按照之前的办法:

up=urllib2.urlopen(url)

cont=up.read()

就抓取不到上述内容了。

我们查看一下这个页面对应的源码:

Python 抓取动态网页内容方案详解

由源码可以看出,这个《备案确认书》属于“填空”形式的,HTML提供文字模板,js根据不同的id提供不同的变量,“填入”到文字模板中,形成了一个具体的《备案确认书》。所以单纯抓取此HTML,只能得到一些文字模板,而无法得到具体内容。

那么,该如何找到那些具体内容呢?可以利用Chrome的“开发者工具”来寻找谁是真正的内容提供者。

打开Chrome浏览器,按下键盘F12即可呼出此工具。如下图:

Python 抓取动态网页内容方案详解

此时选中“Network”标签,在地址栏中输入此页面“http://beian.hndrc.gov.cn/indexinvestment.jsp?id=162518”,浏览器会分析出此次响应的全过程,而红框内的文件,就是此次响应中,浏览器和web后端的所有通信。

Python 抓取动态网页内容方案详解

因为要获得不同企业对应的不同信息,那么浏览器发送给服务器的请求里面一定会有一个和当前企业id有关的参数。

那么,参数是多少呢?URL上有,是“jsp?id=162518”,问号表示要调用参数,后面跟的是id号即是被调用的参数。而通过对这几个文件的分析,很显然,企业信息存在于“indexinvestment.action”文件中。

Python 抓取动态网页内容方案详解

然而,双击打开此文件并不能获得企业信息,而是一堆代码。因为没有对应的参数为它指明要显示第几号的信息。如图:

Python 抓取动态网页内容方案详解

那么,应该如何将参数传递给它呢?这时我们仍旧看F12窗口:

Python 抓取动态网页内容方案详解

“Header”一栏中明确地显示出了此次响应的过程:

对目标URL,用POST的方式,传递了一个id为162518的参数。

我们先手工操作一下。js是如何调用参数的呢?对,上面说过:问号+变量名+等号+变量对应的数字。也就是说,向“http://beian.hndrc.gov.cn/indexinvestment.action”这个页面提交id为162518的参数时,应该在URL后面加上

“?id=162518”,即

“http://beian.hndrc.gov.cn/indexinvestment.action?id=162518”。

我们把这个URL粘贴到浏览器中来看:

Python 抓取动态网页内容方案详解

似乎有了点内容,可是都是乱码啊,怎么破?熟悉的朋友可能一眼就看出来,这是编码的问题。是因为响应回来的内容与浏览器默认的编码方式不同。只需要在Chrome右上角菜单——更多工具——编码——“自动检测”即可。(其实这是UTF-8的编码,而Chrome默认的是中文简体)。如下图:

Python 抓取动态网页内容方案详解

好了,真正的信息源已经被挖出,剩下的就是用Python处理这些页面上的字符串,然后剪切、拼接,重新组成新的《项目备案书》了。

再然后使用for、while等循环,批量获取这些《备案书》。

正如“不论是静态网页,动态网页,模拟登陆等,都要先分析、搞懂逻辑,再去写代码”所说,编程语言只是一个工具,重要的是解决问题的思路。有了思路,再寻找趁手的工具去解决,就OK了。

Python 相关文章推荐
MySQL最常见的操作语句小结
May 07 Python
Python urllib、urllib2、httplib抓取网页代码实例
May 09 Python
实例解析Python中的__new__特殊方法
Jun 02 Python
在阿里云服务器上配置CentOS+Nginx+Python+Flask环境
Jun 18 Python
Python运算符重载详解及实例代码
Mar 07 Python
一篇文章快速了解Python的GIL
Jan 12 Python
python如何定义带参数的装饰器
Mar 20 Python
matplotlib 输出保存指定尺寸的图片方法
May 24 Python
python字符串分割及字符串的一些常规方法
Jul 24 Python
django数据关系一对多、多对多模型、自关联的建立
Jul 24 Python
3种python调用其他脚本的方法
Jan 06 Python
python如何解析复杂sql,实现数据库和表的提取的实例剖析
May 15 Python
利用Psyco提升Python运行速度
Dec 24 #Python
Python解决鸡兔同笼问题的方法
Dec 20 #Python
Python列表计数及插入实例
Dec 17 #Python
Python二维码生成库qrcode安装和使用示例
Dec 16 #Python
Mac下Supervisor进程监控管理工具的安装与配置
Dec 16 #Python
Python 正则表达式(转义问题)
Dec 15 #Python
python正则表达式中的括号匹配问题
Dec 14 #Python
You might like
在 PHP 中使用随机数的三个步骤
2006/10/09 PHP
Zend Studio 无法启动的问题解决方法
2008/12/04 PHP
php计算年龄精准到年月日
2015/11/17 PHP
thinkphp中AJAX返回ajaxReturn()方法分析
2016/12/06 PHP
Zend Framework入门教程之Zend_Session会话操作详解
2016/12/08 PHP
Javascript实例教程(19) 使用HoTMetal(2)
2006/12/23 Javascript
input 输入框内的输入事件详细分析
2010/03/17 Javascript
window.open不被拦截的实现代码
2012/08/22 Javascript
jQuery手动点击实现图片轮播特效
2020/04/20 Javascript
iscroll碰到Select无法选择下拉刷新的解决办法
2016/05/21 Javascript
javascript表达式和运算符详解
2017/02/07 Javascript
jQuery.cookie.js使用方法及相关参数解释
2017/03/06 Javascript
基于Bootstrap框架菜鸟入门教程(推荐)
2017/09/17 Javascript
Vue之mixin全局的用法详解
2018/08/22 Javascript
react 父子组件之间通讯props
2018/09/08 Javascript
vue实现点击按钮“查看详情”弹窗展示详情列表操作
2020/09/09 Javascript
[08:56]DOTA2-DPC中国联赛2月23日Recap集锦
2021/03/11 DOTA
Python获取服务器信息的最简单实现方法
2015/03/05 Python
Python中设置变量作为默认值时容易遇到的错误
2015/04/03 Python
Python内置函数dir详解
2015/04/14 Python
Python使用面向对象方式创建线程实现12306售票系统
2015/12/24 Python
centos 安装python3.6环境并配置虚拟环境的详细教程
2018/02/22 Python
numpy中实现ndarray数组返回符合特定条件的索引方法
2018/04/17 Python
python实现下载pop3邮件保存到本地
2018/06/19 Python
Python实现将字符串的首字母变为大写,其余都变为小写的方法
2019/06/11 Python
将tensorflow.Variable中的某些元素取出组成一个新的矩阵示例
2020/01/04 Python
python中with用法讲解
2020/02/07 Python
Python3和PyCharm安装与环境配置【图文教程】
2020/02/14 Python
pycharm 2020 1.1的安装流程
2020/09/29 Python
Mountain Warehouse澳大利亚官网:欧洲家庭户外品牌倡导者
2016/11/20 全球购物
培训心得体会
2013/12/29 职场文书
服装设计专业自荐书范文
2013/12/30 职场文书
销售顾问岗位职责
2014/02/25 职场文书
2015年车间安全管理工作总结
2015/05/13 职场文书
Python办公自动化PPT批量转换操作
2021/09/15 Python
MyBatis自定义SQL拦截器示例详解
2021/10/24 Java/Android