Python使用Mechanize模块编写爬虫的要点解析


Posted in Python onMarch 31, 2016

 mechanize是对urllib2的部分功能的替换,能够更好的模拟浏览器行为,在web访问控制方面做得更全面。结合beautifulsoup和re模块,可以有效的解析web页面,我比较喜欢这种方法。
    下面主要总结了使用mechanize模拟浏览器的行为和几个例子(谷歌搜索,百度搜索和人人网登录等)
1.初始化并建立一个浏览器对象
    如果没有mechanize需要easy_install安装,以下代码建立浏览器对象并作了一些初始化设置,实际使用过程可以按需开关。其实只用默认的设置也可以完成基本任务。

#!/usr/bin/env python
import sys,mechanize

#Browser
br = mechanize.Browser()

#options
br.set_handle_equiv(True)
br.set_handle_gzip(True)
br.set_handle_redirect(True)
br.set_handle_referer(True)
br.set_handle_robots(False)

#Follows refresh 0 but not hangs on refresh > 0
br.set_handle_refresh(mechanize._http.HTTPRefreshProcessor(), max_time=1)

#debugging?
br.set_debug_http(True)
br.set_debug_redirects(True)
br.set_debug_responses(True)

#User-Agent (this is cheating, ok?)
br.addheaders = [('User-agent', 'Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.1) Gecko/2008071615 Fedora/3.0.1-1.fc9 Firefox/3.0.1')]

2.模拟浏览器行为
    浏览器对象建立并初始化完毕之后即可使用了,下面给出几个例子(代码承接以上部分)
获取web网页:
    分行打印可以逐个查看详细信息,就不赘述

r = br.open(sys.argv[1])
html = r.read()
print html
print br.response().read()
print br.title()
print r.info()

模拟谷歌和百度查询
    打印和选择forms,然后填写相应键值,通过post提交完成操作

for f in br.forms():
 print f

br.select_form(nr=0)

    谷歌查询football

br.form['q'] = 'football'
br.submit()
print br.response().read()

    百度查询football

br.form['wd'] = 'football'
br.submit()
print br.response().read()

  
    相应键值名,可以通过打印查出

回退(Back)
    非常简单的操作,打印url即可验证是否回退

# Back
br.back()
print br.geturl()

3.http基本认证

br.add_password('http://xxx.com', 'username', 'password')
br.open('http://xxx.com')

4.form认证
    以登陆人人网为例,打印forms可以查出用户名和密码键信息

br.select_form(nr = 0)
br['email'] = username
br['password'] = password
resp = self.br.submit()

5.cookie支持
    通过导入cookielib模块,并设置浏览器cookie,可以在需要认证的网络行为之后不用重复认证登陆。通过保存session cookie即可重新访问,Cookie Jar完成了该功能。

#!/usr/bin/env python
import mechanize, cookielib

br = mechanize.Browser()
cj = cookielib.LWPCookieJar()
br.set_cookiejar()

6.proxy设置
设置http代理

#Proxy
br.set_proxies({"http":"proxy.com:8888"})
br.add_proxy_password("username", "password")

#Proxy and usrer/password
br.set_proxies({"http":"username:password@proxy.com:8888"})

7.关于内存过高问题

在用mechanize写了一个爬虫脚本,想要去某网站爬取大概30万张图片。
 
整个过程是:
1、获取目标页面地址
2、取得目标地址前几页的所有图片url
3、对这些url进行下载,并把索引数据保存到mysql数据库。

这个脚本大概每秒钟完成一张图片的下载(主要是网络只有200K/S左右,是瓶颈)
当图片下载到大约15000张左右的时候,发现越来越慢,最后干脆停下了。
用ps aux查看,发现进程sleep了,感觉很奇怪。
free看一下,内存竟然只剩下100M了(系统总内存4GB)
在网上瞎逛了一下,发现原来mechanize默认会保存模拟过的操作历史,导致占用的内存越来越大:
http://stackoverflow.com/questions/2393299/how-do-i-disable-history-in-python-mechanize-module
 
为了方便,大约翻译一下:
mechanize初始化Browser()的时候,如果你不给他传一个history对象作为参数,Browser()就会按照默认的方式(允许保存操作历史)来进行初始化,你可以随便传个什么history给它即可,如自定义一个NoHistory对象:
 

class NoHistory(object): 
 def add(self, *a, **k): pass 
 def clear(self): pass 
 
b = mechanize.Browser(history=NoHistory())
Python 相关文章推荐
python调用机器喇叭发出蜂鸣声(Beep)的方法
Mar 23 Python
简单理解Python中基于生成器的状态机
Apr 13 Python
Python基于select实现的socket服务器
Apr 13 Python
Python队列的定义与使用方法示例
Jun 24 Python
python实现对文件中图片生成带标签的txt文件方法
Apr 27 Python
目前最全的python的就业方向
Jun 05 Python
PyTorch: 梯度下降及反向传播的实例详解
Aug 20 Python
python mqtt 客户端的实现代码实例
Sep 25 Python
Python可变参数会自动填充前面的默认同名参数实例
Nov 18 Python
matplotlib自定义鼠标光标坐标格式的实现
Jan 08 Python
pycharm部署django项目到云服务器的详细流程
Jun 29 Python
Pillow图像处理库安装及使用
Apr 12 Python
Python语言实现获取主机名根据端口杀死进程
Mar 31 #Python
Linux中Python 环境软件包安装步骤
Mar 31 #Python
Python内置的HTTP协议服务器SimpleHTTPServer使用指南
Mar 30 #Python
横向对比分析Python解析XML的四种方式
Mar 30 #Python
python简单实现刷新智联简历
Mar 30 #Python
详解Python迭代和迭代器
Mar 28 #Python
Python读大数据txt
Mar 28 #Python
You might like
真正根据utf8编码的规律来进行截取字符串的函数(utf8版sub_str )
2012/10/24 PHP
laravel-admin 在列表页添加自定义按钮的例子
2019/09/30 PHP
解决表单中第一个非隐藏的元素获得焦点的一个方案
2009/10/26 Javascript
初窥JQuery-Jquery简介 入门了解篇
2010/11/25 Javascript
JQuery datepicker 使用方法
2011/05/20 Javascript
基于jQuery实现表单提交验证
2014/11/24 Javascript
javascript中sort() 方法使用详解
2015/08/30 Javascript
jQuery语法小结(超实用)
2015/12/31 Javascript
全面了解javascript中的错误处理机制
2016/07/18 Javascript
基于jQuery.validate及Bootstrap的tooltip开发气泡样式的表单校验组件思路详解
2016/07/18 Javascript
javascript设计模式之module(模块)模式
2016/08/19 Javascript
jquery.validate表单验证插件使用方法解析
2016/11/07 Javascript
原生js实现放大镜
2017/02/20 Javascript
求js数组的最大值和最小值的四种方法
2017/03/03 Javascript
nodejs微信开发之接入指南
2019/03/17 NodeJs
微信小程序云开发如何使用云函数生成二维码
2019/05/18 Javascript
js get和post请求实现代码解析
2020/02/06 Javascript
利用原生JS实现欢乐水果机小游戏
2020/04/23 Javascript
Vue使用Element实现增删改查+打包的步骤
2020/11/25 Vue.js
MySQL最常见的操作语句小结
2015/05/07 Python
Python实现识别手写数字大纲
2018/01/29 Python
基于Python+Appium实现京东双十一自动领金币功能
2019/10/31 Python
Python 基于FIR实现Hilbert滤波器求信号包络详解
2020/02/26 Python
python GUI库图形界面开发之PyQt5窗口类QMainWindow详细使用方法
2020/02/26 Python
python 获取当前目录下的文件目录和文件名实例代码详解
2020/03/10 Python
Python中实现输入一个整数的案例
2020/05/03 Python
纯css3实现的鼠标悬停动画按钮
2014/12/23 HTML / CSS
连卡佛中国官网:Lane Crawford中文站
2018/01/27 全球购物
主要的Ajax框架都有什么
2013/11/14 面试题
大学军训感言1500字
2014/03/09 职场文书
竞选班干部演讲稿
2014/04/24 职场文书
房屋认购协议书
2015/01/29 职场文书
保洁员岗位职责
2015/02/04 职场文书
绍兴鲁迅故居导游词
2015/02/09 职场文书
教师党员个人总结
2015/02/10 职场文书
「月刊Comic Alive」2022年5月号封面公开
2022/03/21 日漫