Python使用Mechanize模块编写爬虫的要点解析


Posted in Python onMarch 31, 2016

 mechanize是对urllib2的部分功能的替换,能够更好的模拟浏览器行为,在web访问控制方面做得更全面。结合beautifulsoup和re模块,可以有效的解析web页面,我比较喜欢这种方法。
    下面主要总结了使用mechanize模拟浏览器的行为和几个例子(谷歌搜索,百度搜索和人人网登录等)
1.初始化并建立一个浏览器对象
    如果没有mechanize需要easy_install安装,以下代码建立浏览器对象并作了一些初始化设置,实际使用过程可以按需开关。其实只用默认的设置也可以完成基本任务。

#!/usr/bin/env python
import sys,mechanize

#Browser
br = mechanize.Browser()

#options
br.set_handle_equiv(True)
br.set_handle_gzip(True)
br.set_handle_redirect(True)
br.set_handle_referer(True)
br.set_handle_robots(False)

#Follows refresh 0 but not hangs on refresh > 0
br.set_handle_refresh(mechanize._http.HTTPRefreshProcessor(), max_time=1)

#debugging?
br.set_debug_http(True)
br.set_debug_redirects(True)
br.set_debug_responses(True)

#User-Agent (this is cheating, ok?)
br.addheaders = [('User-agent', 'Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.1) Gecko/2008071615 Fedora/3.0.1-1.fc9 Firefox/3.0.1')]

2.模拟浏览器行为
    浏览器对象建立并初始化完毕之后即可使用了,下面给出几个例子(代码承接以上部分)
获取web网页:
    分行打印可以逐个查看详细信息,就不赘述

r = br.open(sys.argv[1])
html = r.read()
print html
print br.response().read()
print br.title()
print r.info()

模拟谷歌和百度查询
    打印和选择forms,然后填写相应键值,通过post提交完成操作

for f in br.forms():
 print f

br.select_form(nr=0)

    谷歌查询football

br.form['q'] = 'football'
br.submit()
print br.response().read()

    百度查询football

br.form['wd'] = 'football'
br.submit()
print br.response().read()

  
    相应键值名,可以通过打印查出

回退(Back)
    非常简单的操作,打印url即可验证是否回退

# Back
br.back()
print br.geturl()

3.http基本认证

br.add_password('http://xxx.com', 'username', 'password')
br.open('http://xxx.com')

4.form认证
    以登陆人人网为例,打印forms可以查出用户名和密码键信息

br.select_form(nr = 0)
br['email'] = username
br['password'] = password
resp = self.br.submit()

5.cookie支持
    通过导入cookielib模块,并设置浏览器cookie,可以在需要认证的网络行为之后不用重复认证登陆。通过保存session cookie即可重新访问,Cookie Jar完成了该功能。

#!/usr/bin/env python
import mechanize, cookielib

br = mechanize.Browser()
cj = cookielib.LWPCookieJar()
br.set_cookiejar()

6.proxy设置
设置http代理

#Proxy
br.set_proxies({"http":"proxy.com:8888"})
br.add_proxy_password("username", "password")

#Proxy and usrer/password
br.set_proxies({"http":"username:password@proxy.com:8888"})

7.关于内存过高问题

在用mechanize写了一个爬虫脚本,想要去某网站爬取大概30万张图片。
 
整个过程是:
1、获取目标页面地址
2、取得目标地址前几页的所有图片url
3、对这些url进行下载,并把索引数据保存到mysql数据库。

这个脚本大概每秒钟完成一张图片的下载(主要是网络只有200K/S左右,是瓶颈)
当图片下载到大约15000张左右的时候,发现越来越慢,最后干脆停下了。
用ps aux查看,发现进程sleep了,感觉很奇怪。
free看一下,内存竟然只剩下100M了(系统总内存4GB)
在网上瞎逛了一下,发现原来mechanize默认会保存模拟过的操作历史,导致占用的内存越来越大:
http://stackoverflow.com/questions/2393299/how-do-i-disable-history-in-python-mechanize-module
 
为了方便,大约翻译一下:
mechanize初始化Browser()的时候,如果你不给他传一个history对象作为参数,Browser()就会按照默认的方式(允许保存操作历史)来进行初始化,你可以随便传个什么history给它即可,如自定义一个NoHistory对象:
 

class NoHistory(object): 
 def add(self, *a, **k): pass 
 def clear(self): pass 
 
b = mechanize.Browser(history=NoHistory())
Python 相关文章推荐
python中的sort方法使用详解
Jul 25 Python
Python多进程multiprocessing用法实例分析
Aug 18 Python
Python对象与引用的介绍
Jan 24 Python
对Python生成汉字字库文字,以及转换为文字图片的实例详解
Jan 29 Python
python实现两张图片的像素融合
Feb 23 Python
Python中的 ansible 动态Inventory 脚本
Jan 19 Python
Keras实现将两个模型连接到一起
May 23 Python
python判断正负数方式
Jun 03 Python
Python求区间正整数内所有素数之和的方法实例
Oct 13 Python
python 爬取腾讯视频评论的实现步骤
Feb 18 Python
教你怎么用Python实现多路径迷宫
Apr 29 Python
python blinker 信号库
May 04 Python
Python语言实现获取主机名根据端口杀死进程
Mar 31 #Python
Linux中Python 环境软件包安装步骤
Mar 31 #Python
Python内置的HTTP协议服务器SimpleHTTPServer使用指南
Mar 30 #Python
横向对比分析Python解析XML的四种方式
Mar 30 #Python
python简单实现刷新智联简历
Mar 30 #Python
详解Python迭代和迭代器
Mar 28 #Python
Python读大数据txt
Mar 28 #Python
You might like
第六节--访问属性和方法
2006/11/16 PHP
使用PHPCMS搭建wap手机网站
2015/09/20 PHP
php处理单文件、多文件上传代码分享
2016/08/24 PHP
php post换行的方法
2020/02/03 PHP
收藏一些不常用,但是有用的代码
2007/03/12 Javascript
JavaScript Perfection kill 测试及答案
2010/03/23 Javascript
jQuery模拟新浪微博首页滚动效果的方法
2015/03/11 Javascript
jquery dataview数据视图插件使用方法
2016/12/23 Javascript
angularjs 实现带查找筛选功能的select下拉框实例
2017/01/11 Javascript
AngularJs表单校验功能实例代码
2017/02/09 Javascript
分分钟玩转Vue.js组件(二)
2017/03/01 Javascript
JQuery和html+css实现带小圆点和左右按钮的轮播图实例
2017/07/22 jQuery
Vue学习笔记之表单输入控件绑定
2017/09/05 Javascript
ES7中利用Await减少回调嵌套的方法详解
2017/11/01 Javascript
JS实现键值对遍历json数组功能示例
2018/05/30 Javascript
vue单文件组件lint error自动fix与styleLint报错自动fix详解
2019/01/08 Javascript
基于vue-cli3创建libs库的实现方法
2019/12/04 Javascript
JS中this的4种绑定规则详解
2020/02/04 Javascript
Vue 样式切换及三元判断样式关联操作
2020/08/09 Javascript
[02:57]2014DOTA2国际邀请赛 选手辛苦解说更辛苦
2014/07/10 DOTA
pycharm 使用心得(一)安装和首次使用
2014/06/05 Python
python使用smtplib模块通过gmail实现邮件发送的方法
2015/05/08 Python
详解Python中映射类型的内建函数和工厂函数
2015/08/19 Python
python 简单备份文件脚本v1.0的实例
2017/11/06 Python
Python 使用Numpy对矩阵进行转置的方法
2019/01/28 Python
解决python DataFrame 打印结果不换行问题
2020/04/09 Python
HTML里显示pdf、word、xls、ppt的方法示例
2020/04/14 HTML / CSS
澳大利亚领先的折扣药房:Chemist Direct(有中文站)
2018/11/24 全球购物
Tuckernuck官网:经典的美国品质服装、鞋子和配饰
2021/01/11 全球购物
优秀学生干部个人的自我评价
2013/10/04 职场文书
入党申请人的自我鉴定
2013/12/01 职场文书
2014年安全员工作总结
2014/11/13 职场文书
统计员岗位职责
2015/02/11 职场文书
水电施工员岗位职责
2015/04/11 职场文书
大学生求职意向书
2015/05/11 职场文书
CSS SandBox应用场景及常见问题
2022/06/25 HTML / CSS