Python常用的爬虫技巧总结


Posted in Python onMarch 28, 2016

用python也差不多一年多了,python应用最多的场景还是web快速开发、爬虫、自动化运维:写过简单网站、写过自动发帖脚本、写过收发邮件脚本、写过简单验证码识别脚本。

爬虫在开发过程中也有很多复用的过程,这里总结一下,以后也能省些事情。

1、基本抓取网页

get方法

import urllib2
 
url = "http://www.baidu.com"
response = urllib2.urlopen(url)
print response.read()

post方法

import urllib
import urllib2
 
url = "http://abcde.com"
form = {'name':'abc','password':'1234'}
form_data = urllib.urlencode(form)
request = urllib2.Request(url,form_data)
response = urllib2.urlopen(request)
print response.read()

2、使用代理IP

    在开发爬虫过程中经常会遇到IP被封掉的情况,这时就需要用到代理IP;

在urllib2包中有ProxyHandler类,通过此类可以设置代理访问网页,如下代码片段:

import urllib2
 
proxy = urllib2.ProxyHandler({'http': '127.0.0.1:8087'})
opener = urllib2.build_opener(proxy)
urllib2.install_opener(opener)
response = urllib2.urlopen('http://www.baidu.com')
print response.read()

3、Cookies处理

    cookies是某些网站为了辨别用户身份、进行session跟踪而储存在用户本地终端上的数据(通常经过加密),python提供了cookielib模块用于处理cookies,cookielib模块的主要作用是提供可存储cookie的对象,以便于与urllib2模块配合使用来访问Internet资源.

代码片段:

import urllib2, cookielib
 
cookie_support= urllib2.HTTPCookieProcessor(cookielib.CookieJar())
opener = urllib2.build_opener(cookie_support)
urllib2.install_opener(opener)
content = urllib2.urlopen('http://XXXX').read()

    关键在于CookieJar(),它用于管理HTTP cookie值、存储HTTP请求生成的cookie、向传出的HTTP请求添加cookie的对象。整个cookie都存储在内存中,对CookieJar实例进行垃圾回收后cookie也将丢失,所有过程都不需要单独去操作。

  手动添加cookie

cookie = "PHPSESSID=91rurfqm2329bopnosfu4fvmu7; 
kmsign=55d2c12c9b1e3; 
KMUID=b6Ejc1XSwPq9o756AxnBAg="
request.add_header("Cookie", cookie)

4、伪装成浏览器

    某些网站反感爬虫的到访,于是对爬虫一律拒绝请求。所以用urllib2直接访问网站经常会出现HTTP Error 403: Forbidden的情况

对有些 header 要特别留意,Server 端会针对这些 header 做检查

  1.User-Agent 有些 Server 或 Proxy 会检查该值,用来判断是否是浏览器发起的 Request

  2.Content-Type 在使用 REST 接口时,Server 会检查该值,用来确定 HTTP Body 中的内容该怎样解析。

这时可以通过修改http包中的header来实现,代码片段如下:

import urllib2
 
headers = {
  'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'
}
request = urllib2.Request(
  url = 'http://my.oschina.net/jhao104/blog?catalog=3463517',
  headers = headers
)
print urllib2.urlopen(request).read()

5、页面解析

    对于页面解析最强大的当然是正则表达式,这个对于不同网站不同的使用者都不一样,就不用过多的说明,附两个比较好的网址:

正则表达式入门:https://3water.com/article/18526.htm

正则表达式在线测试:http://tools.3water.com/regex/javascript

其次就是解析库了,常用的有两个lxml和BeautifulSoup,对于这两个的使用介绍两个比较好的网站:

lxml:https://3water.com/article/67125.htm

BeautifulSoup:https://3water.com/article/43572.htm

对于这两个库,我的评价是,都是HTML/XML的处理库,Beautifulsoup纯python实现,效率低,但是功能实用,比如能用通过结果搜索获得某个HTML节点的源码;lxmlC语言编码,高效,支持Xpath

6、验证码的处理

对于一些简单的验证码,可以进行简单的识别。本人也只进行过一些简单的验证码识别。但是有些反人类的验证码,比如12306,可以通过打码平台进行人工打码,当然这是要付费的。

7、gzip压缩

    有没有遇到过某些网页,不论怎么转码都是一团乱码。哈哈,那说明你还不知道许多web服务具有发送压缩数据的能力,这可以将网络线路上传输的大量数据消减 60% 以上。这尤其适用于 XML web 服务,因为 XML 数据 的压缩率可以很高。

但是一般服务器不会为你发送压缩数据,除非你告诉服务器你可以处理压缩数据。

于是需要这样修改代码:

import urllib2, httplib
request = urllib2.Request('http://xxxx.com')
request.add_header('Accept-encoding', 'gzip')    1
opener = urllib2.build_opener()
f = opener.open(request)

这是关键:创建Request对象,添加一个 Accept-encoding 头信息告诉服务器你能接受 gzip 压缩数据

然后就是解压缩数据:

import StringIO
import gzip
 
compresseddata = f.read() 
compressedstream = StringIO.StringIO(compresseddata)
gzipper = gzip.GzipFile(fileobj=compressedstream) 
print gzipper.read()

8、多线程并发抓取

    单线程太慢的话,就需要多线程了,这里给个简单的线程池模板 这个程序只是简单地打印了1-10,但是可以看出是并发的。

虽然说python的多线程很鸡肋,但是对于爬虫这种网络频繁型,还是能一定程度提高效率的。

from threading import Thread
from Queue import Queue
from time import sleep
# q是任务队列
#NUM是并发线程总数
#JOBS是有多少任务
q = Queue()
NUM = 2
JOBS = 10
#具体的处理函数,负责处理单个任务
def do_somthing_using(arguments):
  print arguments
#这个是工作进程,负责不断从队列取数据并处理
def working():
  while True:
    arguments = q.get()
    do_somthing_using(arguments)
    sleep(1)
    q.task_done()
#fork NUM个线程等待队列
for i in range(NUM):
  t = Thread(target=working)
  t.setDaemon(True)
  t.start()
#把JOBS排入队列
for i in range(JOBS):
  q.put(i)
#等待所有JOBS完成
q.join()
Python 相关文章推荐
python调用机器喇叭发出蜂鸣声(Beep)的方法
Mar 23 Python
Python文档生成工具pydoc使用介绍
Jun 02 Python
详解python string类型 bytes类型 bytearray类型
Dec 16 Python
Python 循环语句之 while,for语句详解
Apr 23 Python
使用python验证代理ip是否可用的实现方法
Jul 25 Python
用python脚本24小时刷浏览器的访问量方法
Dec 07 Python
Python3.5模块的定义、导入、优化操作图文详解
Apr 27 Python
解决pycharm编辑区显示yaml文件层级结构遇中文乱码问题
Apr 27 Python
浅谈Python中的模块
Jun 10 Python
Python JSON常用编解码方法代码实例
Sep 05 Python
OpenCV+Python3.5 简易手势识别的实现
Dec 21 Python
python如何用matplotlib创建三维图表
Jan 26 Python
Python对数据库操作
Mar 28 #Python
Python字符串切片操作知识详解
Mar 28 #Python
python Django框架实现自定义表单提交
Mar 25 #Python
python Django批量导入数据
Mar 25 #Python
python Django批量导入不重复数据
Mar 25 #Python
用Python实现斐波那契(Fibonacci)函数
Mar 25 #Python
Python基础教程之正则表达式基本语法以及re模块
Mar 25 #Python
You might like
ThinkPHP模版引擎之变量输出详解
2014/12/05 PHP
phpQuery采集网页实现代码实例
2020/04/02 PHP
js获取单选按钮的数据
2006/11/27 Javascript
解javascript 混淆加密收藏
2009/01/16 Javascript
javascript 用原型继承来实现对象系统
2010/03/22 Javascript
namespace.js Javascript的命名空间库
2011/10/11 Javascript
页面调用单个swf文件,嵌套出多个方法。
2011/11/21 Javascript
jQuery替换字符串(实例代码)
2013/11/13 Javascript
JavaScript中奇葩的假值示例应用
2014/03/11 Javascript
一个简单的jquery进度条示例
2014/04/28 Javascript
jQuery通过ajax请求php遍历json数组到table中的代码(推荐)
2016/06/12 Javascript
JS实现pasteHTML兼容ie,firefox,chrome的方法
2016/06/22 Javascript
火狐和ie下获取javascript 获取event的方法(推荐)
2016/11/26 Javascript
vue.js 1.x与2.0中js实时监听input值的变化
2017/03/15 Javascript
json2.js 入门教程之使用方法与实例分析
2017/09/14 Javascript
利用node.js如何创建子进程详解
2017/12/09 Javascript
Node.js JSON模块用法实例分析
2019/01/04 Javascript
Vue分页效果与购物车功能
2019/12/13 Javascript
jQuery实现html可联动的百分比进度条
2020/03/26 jQuery
[01:00:30]TFT vs VGJ.T Supermajor 败者组 BO3 第一场 6.5
2018/06/06 DOTA
python使用正则表达式匹配字符串开头并打印示例
2017/01/11 Python
Python实现生成随机数据插入mysql数据库的方法
2017/12/25 Python
Python数据可视化之画图
2019/01/15 Python
python 和c++实现旋转矩阵到欧拉角的变换方式
2019/12/04 Python
Python Pandas 转换unix时间戳方式
2019/12/07 Python
pytorch .detach() .detach_() 和 .data用于切断反向传播的实现
2019/12/27 Python
Python单例模式的四种创建方式实例解析
2020/03/04 Python
详解pandas映射与数据转换
2021/01/22 Python
Gap中国官网:美式休闲风服饰
2017/02/05 全球购物
Fanatics官网:运动服装、球衣、运动装备
2020/10/12 全球购物
java程序员面试交流
2012/11/29 面试题
后勤采购员岗位职责
2013/12/19 职场文书
个人党性剖析材料
2014/02/03 职场文书
信息专业毕业生五年职业规划参考
2014/02/06 职场文书
周年庆典主持词
2014/04/02 职场文书
工作收入证明范本
2015/06/12 职场文书