详解Python爬虫的基本写法


Posted in Python onJanuary 08, 2016

什么是爬虫

爬虫,即网络爬虫,大家可以理解为在网络上爬行的一直蜘蛛,互联网就比作一张大网,而爬虫便是在这张网上爬来爬去的蜘蛛咯,如果它遇到资源,那么它就会抓取下来。想抓取什么?这个由你来控制它咯。

比如它在抓取一个网页,在这个网中他发现了一条道路,其实就是指向网页的超链接,那么它就可以爬到另一张网上来获取数据。这样,整个连在一起的大网对这之蜘蛛来说触手可及,分分钟爬下来不是事儿。

1.最基本的抓站

import urllib2
content = urllib2.urlopen('http://XXXX').read()

2.使用代理服务器

这在某些情况下比较有用,比如IP被封了,或者比如IP访问的次数受到限制等等。

import urllib2
proxy_support = urllib2.ProxyHandler({'http':'http://XX.XX.XX.XX:XXXX'})
opener = urllib2.build_opener(proxy_support, urllib2.HTTPHandler)
urllib2.install_opener(opener)
content = urllib2.urlopen('http://XXXX').read()

3.需要登录的情况

登录的情况比较麻烦我把问题拆分一下:

3.1.cookie的处理

import urllib2, cookielib
cookie_support= urllib2.HTTPCookieProcessor(cookielib.CookieJar())
opener = urllib2.build_opener(cookie_support, urllib2.HTTPHandler)
urllib2.install_opener(opener)
content = urllib2.urlopen('http://XXXX').read()

是的没错,如果想同时用代理和cookie,那就加入proxy_support然后operner改为

opener = urllib2.build_opener(proxy_support, cookie_support, urllib2.HTTPHandler)

3.2 表单的处理

登录必要填表,表单怎么填?首先利用工具截取所要填表的内容
比如我一般用firefox+httpfox插件来看看自己到底发送了些什么包
这个我就举个例子好了,以verycd为例,先找到自己发的POST请求,以及POST表单项:

可以看到verycd的话需要填username,password,continueURI,fk,login_submit这几项,其中fk是随机生成的(其实不太随机,看上去像是把epoch时间经过简单的编码生成的),需要从网页获取,也就是说得先访问一次网页,用正则表达式等工具截取返回数据中的fk项。continueURI顾名思义可以随便写,login_submit是固定的,这从源码可以看出。还有username,password那就很显然了。

好的,有了要填写的数据,我们就要生成postdata

import urllib
postdata=urllib.urlencode({
'username':'XXXXX',
'password':'XXXXX',
'continueURI':'http://www.verycd.com/',
'fk':fk,
'login_submit':'登录'
})

然后生成http请求,再发送请求:

req = urllib2.Request(
url = 'http://secure.verycd.com/signin/*/http://www.verycd.com/',
data = postdata
)
result = urllib2.urlopen(req).read()

3.3 伪装成浏览器访问

某些网站反感爬虫的到访,于是对爬虫一律拒绝请求

这时候我们需要伪装成浏览器,这可以通过修改http包中的header来实现

#…
headers = {
'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'
}
req = urllib2.Request(
url = 'http://secure.verycd.com/signin/*/http://www.verycd.com/',
data = postdata,
headers = headers
)
#...

3.4 反”反盗链”

某些站点有所谓的反盗链设置,其实说穿了很简单,就是检查你发送请求的header里面,referer站点是不是他自己,所以我们只需要像3.3一样,把headers的referer改成该网站即可,以黑幕著称地cnbeta为例:

#...
headers = {
'Referer':'http://www.cnbeta.com/articles'
}
#...

headers是一个dict数据结构,你可以放入任何想要的header,来做一些伪装。例如,有些自作聪明的网站总喜欢窥人隐私,别人通过代理访问,他偏偏要读取header中的X-Forwarded-For来看看人家的真实IP,没话说,那就直接把X-Forwarde-For改了吧,可以改成随便什么好玩的东东来欺负欺负他,呵呵。

3.5 终极绝招

有时候即使做了3.1-3.4,访问还是会被据,那么没办法,老老实实把httpfox中看到的headers全都写上,那一般也就行了。
再不行,那就只能用终极绝招了,selenium直接控制浏览器来进行访问,只要浏览器可以做到的,那么它也可以做到。类似的还有pamie,watir,等等等等。

4.多线程并发抓取

print time.time()-start
1..
from threading import Thread
from Queue import Queue
from time import sleep
import urllib2
import time
q = Queue()
NUM = 10
JOBS = 50
def do_somthing_using(p):
response = urllib2.urlopen('http://www.cnblogs.com')
result = response.read()
#print p
def working():
while True:
arguments = q.get()
do_somthing_using(arguments)
q.task_done()
for i in xrange(NUM):
t = Thread(target=working)
t.setDaemon(True)
t.start()
start = time.time()
for i in xrange(JOBS):
q.put(i)
q.join()
print "MultiThreading:"
print time.time()-start
2..
from threading import Thread
from multiprocessing.dummy import Pool as ThreadPool
import urllib2
import time
start = time.time()
url = "http://www.cnblogs.com"
urls = [url] * 50
pool = ThreadPool(4)
results = pool.map(urllib2.urlopen, urls)
pool.close()
pool.join()
print "Map:"
print time.time()-start

关于Python爬虫的基本写法小编就给大家介绍到这里,后续还会持续更细,敬请关注,谢谢!

Python 相关文章推荐
Python中实现switch功能实例解析
Jan 11 Python
基于随机梯度下降的矩阵分解推荐算法(python)
Aug 31 Python
python+PyQT实现系统桌面时钟
Jun 16 Python
python程序快速缩进多行代码方法总结
Jun 23 Python
Python实现滑动平均(Moving Average)的例子
Aug 24 Python
Python创建数字列表的示例
Nov 28 Python
python学生信息管理系统实现代码
Dec 17 Python
python的sys.path模块路径添加方式
Mar 09 Python
为什么称python为胶水语言
Jun 16 Python
python和go语言的区别是什么
Jul 20 Python
python获取时间戳的实现示例(10位和13位)
Sep 23 Python
Python实战之大鱼吃小鱼游戏的实现
Apr 01 Python
黑科技 Python脚本帮你找出微信上删除你好友的人
Jan 07 #Python
星球大战与Python之间的那些事
Jan 07 #Python
python高手之路python处理excel文件(方法汇总)
Jan 07 #Python
Python解析最简单的验证码
Jan 07 #Python
Python中http请求方法库汇总
Jan 06 #Python
python访问mysql数据库的实现方法(2则示例)
Jan 06 #Python
分享Python文本生成二维码实例
Jan 06 #Python
You might like
php对mongodb的扩展(初出茅庐)
2012/11/11 PHP
php获取系统变量方法小结
2015/05/29 PHP
PHP微信开发用Cache 解决数据缓存
2016/07/11 PHP
浅析Laravel5中队列的配置及使用
2016/08/04 PHP
PHP多进程之pcntl_fork的实例详解
2017/10/15 PHP
javascript之Partial Application学习
2013/01/10 Javascript
Jquery中使用setInterval和setTimeout的方法
2013/04/08 Javascript
jquery动态改变onclick属性导致失效的问题解决方法
2013/12/04 Javascript
如何将php数组或者对象传递给javascript
2014/03/20 Javascript
jQuery根据ID获取input、checkbox、radio、select的示例
2014/08/11 Javascript
用js读、写、删除Cookie代码续篇
2014/12/03 Javascript
js中substr,substring,indexOf,lastIndexOf,split,replace的用法详解
2015/11/09 Javascript
基于vue的fullpage.js单页滚动插件
2017/03/20 Javascript
React-Router如何进行页面权限管理的方法
2017/12/06 Javascript
Nodejs 数组的队列以及forEach的应用详解
2021/02/25 NodeJs
python3.3使用tkinter开发猜数字游戏示例
2014/03/14 Python
在Python中处理字符串之ljust()方法的使用简介
2015/05/19 Python
Python自动登录126邮箱的方法
2015/07/10 Python
python基于pygame实现响应游戏中事件的方法(附源码)
2015/11/11 Python
Python实现爬取亚马逊数据并打印出Excel文件操作示例
2019/05/16 Python
PyTorch的SoftMax交叉熵损失和梯度用法
2020/01/15 Python
浏览器实现移动端高性能css3动画(开启gpu加速)
2013/12/23 HTML / CSS
乌克兰时尚鞋子和衣服购物网站:Born2be
2018/05/24 全球购物
Weblogic的布署方式
2013/08/23 面试题
会计出纳员的自我评价
2014/01/15 职场文书
综合实践活动方案
2014/02/14 职场文书
2014年会策划方案
2014/05/11 职场文书
学生干部培训方案
2014/06/12 职场文书
工伤事故赔偿协议书
2014/10/27 职场文书
学校开除通知书
2015/04/25 职场文书
人民检察院起诉书
2015/05/20 职场文书
运动会班级前导词
2015/07/20 职场文书
高二语文教学反思
2016/02/16 职场文书
标准版个人借条怎么写?以及什么是借条?
2019/08/28 职场文书
Python打包为exe详细教程
2021/05/18 Python
Python使用openpyxl模块处理Excel文件
2022/06/05 Python