python解决网站的反爬虫策略总结


Posted in Python onOctober 26, 2016

本文详细介绍了网站的反爬虫策略,在这里把我写爬虫以来遇到的各种反爬虫策略和应对的方法总结一下。

从功能上来讲,爬虫一般分为数据采集,处理,储存三个部分。这里我们只讨论数据采集部分。

一般网站从三个方面反爬虫:用户请求的Headers,用户行为,网站目录和数据加载方式。前两种比较容易遇到,大多数网站都从这些角度来反爬虫。第三种一些应用ajax的网站会采用,这样增大了爬取的难度(防止静态爬虫使用ajax技术动态加载页面)。

1、从用户请求的Headers反爬虫是最常见的反爬虫策略。

伪装header。很多网站都会对Headers的User-Agent进行检测,还有一部分网站会对Referer进行检测(一些资源网站的防盗链就是检测Referer)。如果遇到了这类反爬虫机制,可以直接在爬虫中添加Headers,将浏览器的User-Agent复制到爬虫的Headers中;或者将Referer值修改为目标网站域名[评论:往往容易被忽略,通过对请求的抓包分析,确定referer,在程序中模拟访问请求头中添加]。对于检测Headers的反爬虫,在爬虫中修改或者添加Headers就能很好的绕过。

2、基于用户行为反爬虫

还有一部分网站是通过检测用户行为,例如同一IP短时间内多次访问同一页面,或者同一账户短时间内多次进行相同操作。[这种防爬,需要有足够多的ip来应对]

(1)、大多数网站都是前一种情况,对于这种情况,使用IP代理就可以解决。可以专门写一个爬虫,爬取网上公开的代理ip,检测后全部保存起来。有了大量代理ip后可以每请求几次更换一个ip,这在requests或者urllib中很容易做到,这样就能很容易的绕过第一种反爬虫。

编写爬虫代理:

步骤:

1.参数是一个字典{'类型':'代理ip:端口号'}

proxy_support=urllib.request.ProxyHandler({})
2.定制、创建一个opener

opener=urllib.request.build_opener(proxy_support)
3a.安装opener

urllib.request.install_opener(opener)
3b.调用opener

opener.open(url)

用大量代理随机请求目标网站,应对反爬虫

#! /usr/bin/env python3.4
#-*- coding:utf-8 -*-
#__author__ == "tyomcat"


import urllib.request
import random
import re

url='http://www.whatismyip.com.tw'
iplist=['121.193.143.249:80','112.126.65.193:80','122.96.59.104:82','115.29.98.139:9999','117.131.216.214:80','116.226.243.166:8118','101.81.22.21:8118','122.96.59.107:843']

proxy_support = urllib.request.ProxyHandler({'http':random.choice(iplist)})
opener=urllib.request.build_opener(proxy_support)
opener.addheaders=[('User-Agent','Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.87 Safari/537.36')]
urllib.request.install_opener(opener)
response = urllib.request.urlopen(url)
html = response.read().decode('utf-8')

pattern = re.compile('<h1>(.*?)</h1>.*?<h2>(.*?)</h2>')
iterms=re.findall(pattern,html)
for item in iterms:
  print(item[0]+":"+item[1])

(2)、对于第二种情况,可以在每次请求后随机间隔几秒再进行下一次请求。有些有逻辑漏洞的网站,可以通过请求几次,退出登录,重新登录,继续请求来绕过同一账号短时间内不能多次进行相同请求的限制。[评论:对于账户做防爬限制,一般难以应对,随机几秒请求也往往可能被封,如果能有多个账户,切换使用,效果更佳]

3、动态页面的反爬虫

上述的几种情况大多都是出现在静态页面,还有一部分网站,我们需要爬取的数据是通过ajax请求得到,或者通过Java生成的。

解决方案:Selenium+PhantomJS                           

Selenium:自动化web测试解决方案,完全模拟真实的浏览器环境,完全模拟基本上所有的用户操作

PhantomJS :一个没有图形界面的浏览器

 获取淘宝妹妹的个人详情地址:

#! /usr/bin/env python
# -*- coding:utf-8 -*-
#__author__ == "tyomcat"

from selenium import webdriver
import time
import re

drive = webdriver.PhantomJS(executable_path='phantomjs-2.1.1-linux-x86_64/bin/phantomjs')
drive.get('https://mm.taobao.com/self/model_info.htm?user_id=189942305&is_coment=false')

time.sleep(5)

pattern = re.compile(r'<div.*?mm-p-domain-info">.*?class="mm-p-info-cell clearfix">.*?<li>.*?<label>(.*?)</label><span>(.*?)</span>',re.S)
html=drive.page_source.encode('utf-8','ignore')
items=re.findall(pattern,html)
for item in items:
  print item[0],'http:'+item[1]
drive.close()

感谢阅读,希望能帮助到大家,谢谢大家对本站的支持!

Python 相关文章推荐
Python 第一步 hello world
Sep 25 Python
matplotlib在python上绘制3D散点图实例详解
Dec 09 Python
在Python中给Nan值更改为0的方法
Oct 30 Python
Python元组知识点总结
Feb 18 Python
python调用虹软2.0第三版的具体使用
Feb 22 Python
【python】matplotlib动态显示详解
Apr 11 Python
Python多线程threading模块用法实例分析
May 22 Python
python实现在函数图像上添加文字和标注的方法
Jul 08 Python
python将字符串list写入excel和txt的实例
Jul 20 Python
python pprint模块中print()和pprint()两者的区别
Feb 10 Python
python实现计算器简易版
Dec 17 Python
python实现简单文件读写函数
Feb 25 Python
Python控制多进程与多线程并发数总结
Oct 26 #Python
Python网络爬虫项目:内容提取器的定义
Oct 25 #Python
Python实现ssh批量登录并执行命令
Oct 25 #Python
详解Python的Lambda函数与排序
Oct 25 #Python
Python脚本实现Web漏洞扫描工具
Oct 25 #Python
python+django快速实现文件上传
Oct 24 #Python
python实现简单爬虫功能的示例
Oct 24 #Python
You might like
外媒评选出10支2020年最受欢迎的Dota2战队
2021/03/05 DOTA
PHP设计模式之装饰者模式
2012/02/29 PHP
PHP实现数字补零功能的2个函数介绍
2014/05/12 PHP
使用PHP生成PDF方法详解
2015/01/23 PHP
PHP实现向关联数组指定的Key之前插入元素的方法
2017/06/06 PHP
PHP封装类似thinkphp连贯操作数据库Db类与简单应用示例
2019/05/08 PHP
在js中单选框和复选框获取值的方式
2009/11/06 Javascript
Javascript常用字符串判断函数代码分享
2014/12/08 Javascript
jQuery多媒体插件jQuery Media Plugin使用详解
2014/12/19 Javascript
用js实现博客打赏功能
2016/10/24 Javascript
探索Vue.js component内容实现
2016/11/03 Javascript
Javascript实现登录记住用户名和密码功能
2017/03/22 Javascript
Vue.js实战之通过监听滚动事件实现动态锚点
2017/04/04 Javascript
JavaScript限定范围拖拽及自定义滚动条应用(3)
2017/05/17 Javascript
详解AngularJS controller调用factory
2017/05/19 Javascript
JavaScript中防止微信浏览器被整体拖动的方法
2017/08/25 Javascript
Angular4学习教程之DOM属性绑定详解
2018/01/04 Javascript
使用js实现将后台传入的json数据放在前台显示
2018/08/06 Javascript
微信小程序自定义弹窗wcPop插件
2018/11/19 Javascript
移动端手指操控左右滑动的菜单
2019/09/08 Javascript
js实现扫雷源代码
2020/11/27 Javascript
python求解水仙花数的方法
2015/05/11 Python
python批量制作雷达图的实现方法
2016/07/26 Python
python实现多线程网页下载器
2018/04/15 Python
详解爬虫被封的问题
2019/04/23 Python
如何分离django中的媒体、静态文件和网页
2019/11/12 Python
浅谈Pycharm最有必要改的几个默认设置项
2020/02/14 Python
如何在Python 游戏中模拟引力
2020/03/27 Python
python如何获得list或numpy数组中最大元素对应的索引
2020/11/16 Python
电子商务专业求职信
2014/03/08 职场文书
节电标语大全
2014/06/23 职场文书
2014年会计工作总结
2014/11/27 职场文书
“学党章、守党纪、讲党规”学习心得体会
2016/01/14 职场文书
浅谈如何提高PHP代码的质量
2021/05/28 PHP
nginx作grpc的反向代理踩坑总结
2021/07/07 Servers
css 边框添加四个角的实现代码
2021/10/16 HTML / CSS