详解Python爬虫的基本写法


Posted in Python onJanuary 08, 2016

什么是爬虫

爬虫,即网络爬虫,大家可以理解为在网络上爬行的一直蜘蛛,互联网就比作一张大网,而爬虫便是在这张网上爬来爬去的蜘蛛咯,如果它遇到资源,那么它就会抓取下来。想抓取什么?这个由你来控制它咯。

比如它在抓取一个网页,在这个网中他发现了一条道路,其实就是指向网页的超链接,那么它就可以爬到另一张网上来获取数据。这样,整个连在一起的大网对这之蜘蛛来说触手可及,分分钟爬下来不是事儿。

1.最基本的抓站

import urllib2
content = urllib2.urlopen('http://XXXX').read()

2.使用代理服务器

这在某些情况下比较有用,比如IP被封了,或者比如IP访问的次数受到限制等等。

import urllib2
proxy_support = urllib2.ProxyHandler({'http':'http://XX.XX.XX.XX:XXXX'})
opener = urllib2.build_opener(proxy_support, urllib2.HTTPHandler)
urllib2.install_opener(opener)
content = urllib2.urlopen('http://XXXX').read()

3.需要登录的情况

登录的情况比较麻烦我把问题拆分一下:

3.1.cookie的处理

import urllib2, cookielib
cookie_support= urllib2.HTTPCookieProcessor(cookielib.CookieJar())
opener = urllib2.build_opener(cookie_support, urllib2.HTTPHandler)
urllib2.install_opener(opener)
content = urllib2.urlopen('http://XXXX').read()

是的没错,如果想同时用代理和cookie,那就加入proxy_support然后operner改为

opener = urllib2.build_opener(proxy_support, cookie_support, urllib2.HTTPHandler)

3.2 表单的处理

登录必要填表,表单怎么填?首先利用工具截取所要填表的内容
比如我一般用firefox+httpfox插件来看看自己到底发送了些什么包
这个我就举个例子好了,以verycd为例,先找到自己发的POST请求,以及POST表单项:

可以看到verycd的话需要填username,password,continueURI,fk,login_submit这几项,其中fk是随机生成的(其实不太随机,看上去像是把epoch时间经过简单的编码生成的),需要从网页获取,也就是说得先访问一次网页,用正则表达式等工具截取返回数据中的fk项。continueURI顾名思义可以随便写,login_submit是固定的,这从源码可以看出。还有username,password那就很显然了。

好的,有了要填写的数据,我们就要生成postdata

import urllib
postdata=urllib.urlencode({
'username':'XXXXX',
'password':'XXXXX',
'continueURI':'http://www.verycd.com/',
'fk':fk,
'login_submit':'登录'
})

然后生成http请求,再发送请求:

req = urllib2.Request(
url = 'http://secure.verycd.com/signin/*/http://www.verycd.com/',
data = postdata
)
result = urllib2.urlopen(req).read()

3.3 伪装成浏览器访问

某些网站反感爬虫的到访,于是对爬虫一律拒绝请求

这时候我们需要伪装成浏览器,这可以通过修改http包中的header来实现

#…
headers = {
'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'
}
req = urllib2.Request(
url = 'http://secure.verycd.com/signin/*/http://www.verycd.com/',
data = postdata,
headers = headers
)
#...

3.4 反”反盗链”

某些站点有所谓的反盗链设置,其实说穿了很简单,就是检查你发送请求的header里面,referer站点是不是他自己,所以我们只需要像3.3一样,把headers的referer改成该网站即可,以黑幕著称地cnbeta为例:

#...
headers = {
'Referer':'http://www.cnbeta.com/articles'
}
#...

headers是一个dict数据结构,你可以放入任何想要的header,来做一些伪装。例如,有些自作聪明的网站总喜欢窥人隐私,别人通过代理访问,他偏偏要读取header中的X-Forwarded-For来看看人家的真实IP,没话说,那就直接把X-Forwarde-For改了吧,可以改成随便什么好玩的东东来欺负欺负他,呵呵。

3.5 终极绝招

有时候即使做了3.1-3.4,访问还是会被据,那么没办法,老老实实把httpfox中看到的headers全都写上,那一般也就行了。
再不行,那就只能用终极绝招了,selenium直接控制浏览器来进行访问,只要浏览器可以做到的,那么它也可以做到。类似的还有pamie,watir,等等等等。

4.多线程并发抓取

print time.time()-start
1..
from threading import Thread
from Queue import Queue
from time import sleep
import urllib2
import time
q = Queue()
NUM = 10
JOBS = 50
def do_somthing_using(p):
response = urllib2.urlopen('http://www.cnblogs.com')
result = response.read()
#print p
def working():
while True:
arguments = q.get()
do_somthing_using(arguments)
q.task_done()
for i in xrange(NUM):
t = Thread(target=working)
t.setDaemon(True)
t.start()
start = time.time()
for i in xrange(JOBS):
q.put(i)
q.join()
print "MultiThreading:"
print time.time()-start
2..
from threading import Thread
from multiprocessing.dummy import Pool as ThreadPool
import urllib2
import time
start = time.time()
url = "http://www.cnblogs.com"
urls = [url] * 50
pool = ThreadPool(4)
results = pool.map(urllib2.urlopen, urls)
pool.close()
pool.join()
print "Map:"
print time.time()-start

关于Python爬虫的基本写法小编就给大家介绍到这里,后续还会持续更细,敬请关注,谢谢!

Python 相关文章推荐
python基础教程之简单入门说明(变量和控制语言使用方法)
Mar 25 Python
python通过ftplib登录到ftp服务器的方法
May 08 Python
在Python中操作时间之strptime()方法的使用
Dec 30 Python
Python中将字典转换为列表的方法
Sep 21 Python
基于Python代码编辑器的选用(详解)
Sep 13 Python
python实现二分查找算法
Sep 21 Python
python中lambda()的用法
Nov 16 Python
python logging重复记录日志问题的解决方法
Jul 12 Python
Python 如何批量更新已安装的库
May 26 Python
Python Dataframe常见索引方式详解
May 27 Python
Python如何读取、写入CSV数据
Jul 28 Python
Python爬虫获取op.gg英雄联盟英雄对位胜率的源码
Jan 29 Python
黑科技 Python脚本帮你找出微信上删除你好友的人
Jan 07 #Python
星球大战与Python之间的那些事
Jan 07 #Python
python高手之路python处理excel文件(方法汇总)
Jan 07 #Python
Python解析最简单的验证码
Jan 07 #Python
Python中http请求方法库汇总
Jan 06 #Python
python访问mysql数据库的实现方法(2则示例)
Jan 06 #Python
分享Python文本生成二维码实例
Jan 06 #Python
You might like
浅谈PHP强制类型转换,慎用!
2013/06/06 PHP
PHP清除数组中所有字符串两端空格的方法
2014/10/20 PHP
PHP的图像处理实例小结【文字水印、图片水印、压缩图像等】
2019/12/20 PHP
php屏蔽错误及提示的方法
2020/05/10 PHP
原生js实现改变随意改变div属性style的名称和值的结果
2013/09/26 Javascript
js写的方法实现上传图片之后查看大图
2014/03/05 Javascript
javascript继承机制实例详解
2014/11/20 Javascript
js实现的页面加载完毕之前loading提示效果完整示例【附demo源码下载】
2016/08/02 Javascript
jQuery EasyUI编辑DataGrid用combobox实现多级联动
2016/08/29 Javascript
完美的js div拖拽实例代码
2016/09/24 Javascript
基于jQuery实现Accordion手风琴自定义插件
2020/10/13 Javascript
JS 终止执行的实现方法
2016/11/24 Javascript
原生js实现倒计时--2018
2017/02/21 Javascript
干货!教大家如何选择Vue和React
2017/03/13 Javascript
vue实现行列转换的一种方法
2019/08/06 Javascript
vue-router 控制路由权限的实现
2020/09/24 Javascript
python实现哈希表
2014/02/07 Python
Python实现的使用telnet登陆聊天室实例
2015/06/17 Python
python简单实现刷新智联简历
2016/03/30 Python
使用Python对SQLite数据库操作
2017/04/06 Python
python3使用requests模块爬取页面内容的实战演练
2017/09/25 Python
python画蝴蝶曲线图的实例
2019/11/21 Python
Python 简单计算要求形状面积的实例
2020/01/18 Python
python的Jenkins接口调用方式
2020/05/12 Python
利用CSS3实现炫酷的飞机起飞动画
2016/09/17 HTML / CSS
CSS3对图片照片进行边缘模糊处理的实现
2018/08/08 HTML / CSS
Hotels.com印度:酒店预订
2019/05/11 全球购物
德国最新街头服饰网上商店:BODYCHECK
2019/09/15 全球购物
方法名是否可以与构造器的名字相同
2012/06/04 面试题
华为c/c++笔试题
2016/01/25 面试题
英语专业个人求职自荐信
2013/09/21 职场文书
优秀求职信范文分享
2013/12/19 职场文书
读书活动实施方案
2014/03/10 职场文书
师德师风个人反思
2014/04/28 职场文书
奉献爱心演讲稿
2014/09/04 职场文书
入学证明
2015/06/23 职场文书