详解Python爬虫的基本写法


Posted in Python onJanuary 08, 2016

什么是爬虫

爬虫,即网络爬虫,大家可以理解为在网络上爬行的一直蜘蛛,互联网就比作一张大网,而爬虫便是在这张网上爬来爬去的蜘蛛咯,如果它遇到资源,那么它就会抓取下来。想抓取什么?这个由你来控制它咯。

比如它在抓取一个网页,在这个网中他发现了一条道路,其实就是指向网页的超链接,那么它就可以爬到另一张网上来获取数据。这样,整个连在一起的大网对这之蜘蛛来说触手可及,分分钟爬下来不是事儿。

1.最基本的抓站

import urllib2
content = urllib2.urlopen('http://XXXX').read()

2.使用代理服务器

这在某些情况下比较有用,比如IP被封了,或者比如IP访问的次数受到限制等等。

import urllib2
proxy_support = urllib2.ProxyHandler({'http':'http://XX.XX.XX.XX:XXXX'})
opener = urllib2.build_opener(proxy_support, urllib2.HTTPHandler)
urllib2.install_opener(opener)
content = urllib2.urlopen('http://XXXX').read()

3.需要登录的情况

登录的情况比较麻烦我把问题拆分一下:

3.1.cookie的处理

import urllib2, cookielib
cookie_support= urllib2.HTTPCookieProcessor(cookielib.CookieJar())
opener = urllib2.build_opener(cookie_support, urllib2.HTTPHandler)
urllib2.install_opener(opener)
content = urllib2.urlopen('http://XXXX').read()

是的没错,如果想同时用代理和cookie,那就加入proxy_support然后operner改为

opener = urllib2.build_opener(proxy_support, cookie_support, urllib2.HTTPHandler)

3.2 表单的处理

登录必要填表,表单怎么填?首先利用工具截取所要填表的内容
比如我一般用firefox+httpfox插件来看看自己到底发送了些什么包
这个我就举个例子好了,以verycd为例,先找到自己发的POST请求,以及POST表单项:

可以看到verycd的话需要填username,password,continueURI,fk,login_submit这几项,其中fk是随机生成的(其实不太随机,看上去像是把epoch时间经过简单的编码生成的),需要从网页获取,也就是说得先访问一次网页,用正则表达式等工具截取返回数据中的fk项。continueURI顾名思义可以随便写,login_submit是固定的,这从源码可以看出。还有username,password那就很显然了。

好的,有了要填写的数据,我们就要生成postdata

import urllib
postdata=urllib.urlencode({
'username':'XXXXX',
'password':'XXXXX',
'continueURI':'http://www.verycd.com/',
'fk':fk,
'login_submit':'登录'
})

然后生成http请求,再发送请求:

req = urllib2.Request(
url = 'http://secure.verycd.com/signin/*/http://www.verycd.com/',
data = postdata
)
result = urllib2.urlopen(req).read()

3.3 伪装成浏览器访问

某些网站反感爬虫的到访,于是对爬虫一律拒绝请求

这时候我们需要伪装成浏览器,这可以通过修改http包中的header来实现

#…
headers = {
'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'
}
req = urllib2.Request(
url = 'http://secure.verycd.com/signin/*/http://www.verycd.com/',
data = postdata,
headers = headers
)
#...

3.4 反”反盗链”

某些站点有所谓的反盗链设置,其实说穿了很简单,就是检查你发送请求的header里面,referer站点是不是他自己,所以我们只需要像3.3一样,把headers的referer改成该网站即可,以黑幕著称地cnbeta为例:

#...
headers = {
'Referer':'http://www.cnbeta.com/articles'
}
#...

headers是一个dict数据结构,你可以放入任何想要的header,来做一些伪装。例如,有些自作聪明的网站总喜欢窥人隐私,别人通过代理访问,他偏偏要读取header中的X-Forwarded-For来看看人家的真实IP,没话说,那就直接把X-Forwarde-For改了吧,可以改成随便什么好玩的东东来欺负欺负他,呵呵。

3.5 终极绝招

有时候即使做了3.1-3.4,访问还是会被据,那么没办法,老老实实把httpfox中看到的headers全都写上,那一般也就行了。
再不行,那就只能用终极绝招了,selenium直接控制浏览器来进行访问,只要浏览器可以做到的,那么它也可以做到。类似的还有pamie,watir,等等等等。

4.多线程并发抓取

print time.time()-start
1..
from threading import Thread
from Queue import Queue
from time import sleep
import urllib2
import time
q = Queue()
NUM = 10
JOBS = 50
def do_somthing_using(p):
response = urllib2.urlopen('http://www.cnblogs.com')
result = response.read()
#print p
def working():
while True:
arguments = q.get()
do_somthing_using(arguments)
q.task_done()
for i in xrange(NUM):
t = Thread(target=working)
t.setDaemon(True)
t.start()
start = time.time()
for i in xrange(JOBS):
q.put(i)
q.join()
print "MultiThreading:"
print time.time()-start
2..
from threading import Thread
from multiprocessing.dummy import Pool as ThreadPool
import urllib2
import time
start = time.time()
url = "http://www.cnblogs.com"
urls = [url] * 50
pool = ThreadPool(4)
results = pool.map(urllib2.urlopen, urls)
pool.close()
pool.join()
print "Map:"
print time.time()-start

关于Python爬虫的基本写法小编就给大家介绍到这里,后续还会持续更细,敬请关注,谢谢!

Python 相关文章推荐
Python 开发Activex组件方法
Nov 08 Python
Python中的作用域规则详解
Jan 30 Python
Python解析json文件相关知识学习
Mar 01 Python
python中Pycharm 输出中文或打印中文乱码现象的解决办法
Jun 16 Python
Python实现的爬虫功能代码
Jun 24 Python
Python安装lz4-0.10.1遇到的坑
May 20 Python
python reverse反转部分数组的实例
Dec 13 Python
关于Python形参打包与解包小技巧分享
Aug 24 Python
python实现两个字典合并,两个list合并
Dec 02 Python
查看端口并杀进程python脚本代码
Dec 17 Python
自定义Django Form中choicefield下拉菜单选取数据库内容实例
Mar 13 Python
Python天气语音播报小助手
Sep 25 Python
黑科技 Python脚本帮你找出微信上删除你好友的人
Jan 07 #Python
星球大战与Python之间的那些事
Jan 07 #Python
python高手之路python处理excel文件(方法汇总)
Jan 07 #Python
Python解析最简单的验证码
Jan 07 #Python
Python中http请求方法库汇总
Jan 06 #Python
python访问mysql数据库的实现方法(2则示例)
Jan 06 #Python
分享Python文本生成二维码实例
Jan 06 #Python
You might like
php反射应用示例
2014/02/25 PHP
PHP调用VC编写的COM组件实例
2014/03/29 PHP
是 WordPress 让 PHP 更流行了 而不是框架
2016/02/03 PHP
php使用escapeshellarg时中文被过滤的解决方法
2016/07/10 PHP
PHP7 新特性详细介绍
2016/09/06 PHP
学习jquery之一
2007/04/27 Javascript
增强的 JavaScript 的 trim 函数的代码
2007/08/13 Javascript
javascript 主动派发事件总结
2011/08/09 Javascript
jQuery 滑动方法slideDown向下滑动元素
2014/01/16 Javascript
JS实现弹性菜单效果代码
2015/09/07 Javascript
详解JavaScript的回调函数
2015/11/20 Javascript
jQuery插件实现图片轮播特效
2016/06/16 Javascript
详解nodejs异步I/O和事件循环
2017/06/07 NodeJs
Nodejs之http的表单提交
2017/07/07 NodeJs
Vue引入jquery实现平滑滚动到指定位置
2018/05/09 jQuery
详解ES6 系列之异步处理实战
2018/10/26 Javascript
浅谈ng-zorro使用心得
2018/12/03 Javascript
小程序实现简单语音聊天的示例代码
2020/07/24 Javascript
JS操作JSON常用方法(10w阅读)
2020/12/06 Javascript
Bootstrap FileInput实现图片上传功能
2021/01/28 Javascript
python itchat实现微信好友头像拼接图的示例代码
2017/08/14 Python
python中pika模块问题的深入探究
2018/10/13 Python
Python matplotlib通过plt.scatter画空心圆标记出特定的点方法
2018/12/13 Python
django中forms组件的使用与注意
2019/07/08 Python
简单了解django文件下载方式
2020/02/10 Python
工厂保洁员岗位职责
2013/12/04 职场文书
师德学习感言
2014/01/31 职场文书
会计电算化大学生职业规划书
2014/02/05 职场文书
大班亲子运动会方案
2014/06/10 职场文书
国庆节活动总结
2014/08/26 职场文书
相亲活动方案
2014/08/26 职场文书
最美家庭活动方案
2014/08/31 职场文书
党员演讲稿
2014/09/04 职场文书
学校党的群众路线教育实践活动对照检查材料
2014/09/24 职场文书
出差报告怎么写
2014/11/06 职场文书
2016年暑假学生家长评语
2015/12/01 职场文书