Python 抓取动态网页内容方案详解


Posted in Python onDecember 25, 2014

用Python实现常规的静态网页抓取时,往往是用urllib2来获取整个HTML页面,然后从HTML文件中逐字查找对应的关键字。如下所示:

import urllib2

url="http://mm.taobao.com/json/request_top_list.htm?type=0&page=1"

up=urllib2.urlopen(url)#打开目标页面,存入变量up

cont=up.read()#从up中读入该HTML文件

key1='<a href="http'#设置关键字1

key2="target"#设置关键字2

pa=cont.find(key1)#找出关键字1的位置

pt=cont.find(key2,pa)#找出关键字2的位置(从字1后面开始查找)

urlx=cont[pa:pt]#得到关键字1与关键字2之间的内容(即想要的数据)

print urlx

但是,在动态页面中,所显示的内容往往不是通过HTML页面呈现的,而是通过调用js等方式从数据库中得到数据,回显到网页上。以发改委网站上的“备案信息”(http://beian.hndrc.gov.cn/)为例,要抓取此页面中的某些备案项目。例如“http://beian.hndrc.gov.cn/indexinvestment.jsp?id=162518”。

那么,在浏览器中打开此页面:

Python 抓取动态网页内容方案详解

相关信息都显示的很全了,但是如果按照之前的办法:

up=urllib2.urlopen(url)

cont=up.read()

就抓取不到上述内容了。

我们查看一下这个页面对应的源码:

Python 抓取动态网页内容方案详解

由源码可以看出,这个《备案确认书》属于“填空”形式的,HTML提供文字模板,js根据不同的id提供不同的变量,“填入”到文字模板中,形成了一个具体的《备案确认书》。所以单纯抓取此HTML,只能得到一些文字模板,而无法得到具体内容。

那么,该如何找到那些具体内容呢?可以利用Chrome的“开发者工具”来寻找谁是真正的内容提供者。

打开Chrome浏览器,按下键盘F12即可呼出此工具。如下图:

Python 抓取动态网页内容方案详解

此时选中“Network”标签,在地址栏中输入此页面“http://beian.hndrc.gov.cn/indexinvestment.jsp?id=162518”,浏览器会分析出此次响应的全过程,而红框内的文件,就是此次响应中,浏览器和web后端的所有通信。

Python 抓取动态网页内容方案详解

因为要获得不同企业对应的不同信息,那么浏览器发送给服务器的请求里面一定会有一个和当前企业id有关的参数。

那么,参数是多少呢?URL上有,是“jsp?id=162518”,问号表示要调用参数,后面跟的是id号即是被调用的参数。而通过对这几个文件的分析,很显然,企业信息存在于“indexinvestment.action”文件中。

Python 抓取动态网页内容方案详解

然而,双击打开此文件并不能获得企业信息,而是一堆代码。因为没有对应的参数为它指明要显示第几号的信息。如图:

Python 抓取动态网页内容方案详解

那么,应该如何将参数传递给它呢?这时我们仍旧看F12窗口:

Python 抓取动态网页内容方案详解

“Header”一栏中明确地显示出了此次响应的过程:

对目标URL,用POST的方式,传递了一个id为162518的参数。

我们先手工操作一下。js是如何调用参数的呢?对,上面说过:问号+变量名+等号+变量对应的数字。也就是说,向“http://beian.hndrc.gov.cn/indexinvestment.action”这个页面提交id为162518的参数时,应该在URL后面加上

“?id=162518”,即

“http://beian.hndrc.gov.cn/indexinvestment.action?id=162518”。

我们把这个URL粘贴到浏览器中来看:

Python 抓取动态网页内容方案详解

似乎有了点内容,可是都是乱码啊,怎么破?熟悉的朋友可能一眼就看出来,这是编码的问题。是因为响应回来的内容与浏览器默认的编码方式不同。只需要在Chrome右上角菜单——更多工具——编码——“自动检测”即可。(其实这是UTF-8的编码,而Chrome默认的是中文简体)。如下图:

Python 抓取动态网页内容方案详解

好了,真正的信息源已经被挖出,剩下的就是用Python处理这些页面上的字符串,然后剪切、拼接,重新组成新的《项目备案书》了。

再然后使用for、while等循环,批量获取这些《备案书》。

正如“不论是静态网页,动态网页,模拟登陆等,都要先分析、搞懂逻辑,再去写代码”所说,编程语言只是一个工具,重要的是解决问题的思路。有了思路,再寻找趁手的工具去解决,就OK了。

Python 相关文章推荐
分享一下Python 开发者节省时间的10个方法
Oct 02 Python
spyder常用快捷键(分享)
Jul 19 Python
Python实现的朴素贝叶斯分类器示例
Jan 06 Python
使用pandas批量处理矢量化字符串的实例讲解
Jul 10 Python
Python Django 添加首页尾页上一页下一页代码实例
Aug 21 Python
Python上下文管理器类和上下文管理器装饰器contextmanager用法实例分析
Nov 07 Python
python进程池实现的多进程文件夹copy器完整示例
Nov 27 Python
PyTorch中的Variable变量详解
Jan 07 Python
Windows下实现将Pascal VOC转化为TFRecords
Feb 17 Python
scrapy利用selenium爬取豆瓣阅读的全步骤
Sep 20 Python
python中编写函数并调用的知识点总结
Jan 13 Python
详解Python魔法方法之描述符类
May 26 Python
利用Psyco提升Python运行速度
Dec 24 #Python
Python解决鸡兔同笼问题的方法
Dec 20 #Python
Python列表计数及插入实例
Dec 17 #Python
Python二维码生成库qrcode安装和使用示例
Dec 16 #Python
Mac下Supervisor进程监控管理工具的安装与配置
Dec 16 #Python
Python 正则表达式(转义问题)
Dec 15 #Python
python正则表达式中的括号匹配问题
Dec 14 #Python
You might like
php实现高效获取图片尺寸的方法
2014/12/12 PHP
支持png透明图片的php生成缩略图类分享
2015/02/08 PHP
腾讯CMEM的PHP扩展编译安装方法
2015/09/25 PHP
浅谈Javascript事件处理程序的几种方式
2012/06/27 Javascript
jquery解析xml字符串示例分享
2014/03/25 Javascript
jQuery函数的第二个参数获取指定上下文中的DOM元素
2014/05/19 Javascript
JS仿iGoogle自定义首页模块拖拽特效的方法
2015/02/13 Javascript
js中的内部属性与delete操作符介绍
2015/08/10 Javascript
javascript简单比较日期大小的方法
2016/01/05 Javascript
Nodejs学习item【入门手上】
2016/05/05 NodeJs
Angular4 中常用的指令入门总结
2017/06/12 Javascript
seajs和requirejs模块化简单案例分析
2019/08/26 Javascript
vue+element-ui JYAdmin后台管理系统模板解析
2020/07/28 Javascript
react中hook介绍以及使用教程
2020/12/11 Javascript
[02:36]DOTA2亚洲邀请赛小组赛精彩集锦:奇迹哥卡尔秀翻全场
2017/03/28 DOTA
Python中的__new__与__init__魔术方法理解笔记
2014/11/08 Python
浅谈python抛出异常、自定义异常, 传递异常
2016/06/20 Python
对python 判断数字是否小于0的方法详解
2019/01/26 Python
python 基于TCP协议的套接字编程详解
2019/06/29 Python
python将字母转化为数字实例方法
2019/10/04 Python
python中的 zip函数详解及用法举例
2020/02/16 Python
python爬虫实现获取下一页代码
2020/03/13 Python
基于matplotlib中ion()和ioff()的使用详解
2020/06/16 Python
Python 字典一个键对应多个值的方法
2020/09/29 Python
python软件测试Jmeter性能测试JDBC Request(结合数据库)的使用详解
2021/01/26 Python
CSS3实现多背景展示效果通过CSS3定位多张背景
2014/08/10 HTML / CSS
纽约海:Sea New York
2018/11/04 全球购物
大学生职业生涯规划书范文
2014/01/04 职场文书
保安部任务及岗位职责
2014/02/25 职场文书
2014新课程改革心得体会
2014/03/10 职场文书
人事行政经理岗位职责
2014/06/18 职场文书
个人工作保证书
2015/02/28 职场文书
2015年思想品德教学工作总结
2015/07/22 职场文书
工作计划范文之财务管理
2019/08/09 职场文书
pytorch 如何使用float64训练
2021/05/24 Python
纯html+css实现奥运五环的示例代码
2021/08/02 HTML / CSS