python解决网站的反爬虫策略总结


Posted in Python onOctober 26, 2016

本文详细介绍了网站的反爬虫策略,在这里把我写爬虫以来遇到的各种反爬虫策略和应对的方法总结一下。

从功能上来讲,爬虫一般分为数据采集,处理,储存三个部分。这里我们只讨论数据采集部分。

一般网站从三个方面反爬虫:用户请求的Headers,用户行为,网站目录和数据加载方式。前两种比较容易遇到,大多数网站都从这些角度来反爬虫。第三种一些应用ajax的网站会采用,这样增大了爬取的难度(防止静态爬虫使用ajax技术动态加载页面)。

1、从用户请求的Headers反爬虫是最常见的反爬虫策略。

伪装header。很多网站都会对Headers的User-Agent进行检测,还有一部分网站会对Referer进行检测(一些资源网站的防盗链就是检测Referer)。如果遇到了这类反爬虫机制,可以直接在爬虫中添加Headers,将浏览器的User-Agent复制到爬虫的Headers中;或者将Referer值修改为目标网站域名[评论:往往容易被忽略,通过对请求的抓包分析,确定referer,在程序中模拟访问请求头中添加]。对于检测Headers的反爬虫,在爬虫中修改或者添加Headers就能很好的绕过。

2、基于用户行为反爬虫

还有一部分网站是通过检测用户行为,例如同一IP短时间内多次访问同一页面,或者同一账户短时间内多次进行相同操作。[这种防爬,需要有足够多的ip来应对]

(1)、大多数网站都是前一种情况,对于这种情况,使用IP代理就可以解决。可以专门写一个爬虫,爬取网上公开的代理ip,检测后全部保存起来。有了大量代理ip后可以每请求几次更换一个ip,这在requests或者urllib中很容易做到,这样就能很容易的绕过第一种反爬虫。

编写爬虫代理:

步骤:

1.参数是一个字典{'类型':'代理ip:端口号'}

proxy_support=urllib.request.ProxyHandler({})
2.定制、创建一个opener

opener=urllib.request.build_opener(proxy_support)
3a.安装opener

urllib.request.install_opener(opener)
3b.调用opener

opener.open(url)

用大量代理随机请求目标网站,应对反爬虫

#! /usr/bin/env python3.4
#-*- coding:utf-8 -*-
#__author__ == "tyomcat"


import urllib.request
import random
import re

url='http://www.whatismyip.com.tw'
iplist=['121.193.143.249:80','112.126.65.193:80','122.96.59.104:82','115.29.98.139:9999','117.131.216.214:80','116.226.243.166:8118','101.81.22.21:8118','122.96.59.107:843']

proxy_support = urllib.request.ProxyHandler({'http':random.choice(iplist)})
opener=urllib.request.build_opener(proxy_support)
opener.addheaders=[('User-Agent','Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.87 Safari/537.36')]
urllib.request.install_opener(opener)
response = urllib.request.urlopen(url)
html = response.read().decode('utf-8')

pattern = re.compile('<h1>(.*?)</h1>.*?<h2>(.*?)</h2>')
iterms=re.findall(pattern,html)
for item in iterms:
  print(item[0]+":"+item[1])

(2)、对于第二种情况,可以在每次请求后随机间隔几秒再进行下一次请求。有些有逻辑漏洞的网站,可以通过请求几次,退出登录,重新登录,继续请求来绕过同一账号短时间内不能多次进行相同请求的限制。[评论:对于账户做防爬限制,一般难以应对,随机几秒请求也往往可能被封,如果能有多个账户,切换使用,效果更佳]

3、动态页面的反爬虫

上述的几种情况大多都是出现在静态页面,还有一部分网站,我们需要爬取的数据是通过ajax请求得到,或者通过Java生成的。

解决方案:Selenium+PhantomJS                           

Selenium:自动化web测试解决方案,完全模拟真实的浏览器环境,完全模拟基本上所有的用户操作

PhantomJS :一个没有图形界面的浏览器

 获取淘宝妹妹的个人详情地址:

#! /usr/bin/env python
# -*- coding:utf-8 -*-
#__author__ == "tyomcat"

from selenium import webdriver
import time
import re

drive = webdriver.PhantomJS(executable_path='phantomjs-2.1.1-linux-x86_64/bin/phantomjs')
drive.get('https://mm.taobao.com/self/model_info.htm?user_id=189942305&is_coment=false')

time.sleep(5)

pattern = re.compile(r'<div.*?mm-p-domain-info">.*?class="mm-p-info-cell clearfix">.*?<li>.*?<label>(.*?)</label><span>(.*?)</span>',re.S)
html=drive.page_source.encode('utf-8','ignore')
items=re.findall(pattern,html)
for item in items:
  print item[0],'http:'+item[1]
drive.close()

感谢阅读,希望能帮助到大家,谢谢大家对本站的支持!

Python 相关文章推荐
浅谈python中的面向对象和类的基本语法
Jun 13 Python
利用python程序帮大家清理windows垃圾
Jan 15 Python
flask + pymysql操作Mysql数据库的实例
Nov 13 Python
python图书管理系统
Apr 05 Python
Python线程之定位与销毁的实现
Feb 17 Python
Python实现决策树并且使用Graphviz可视化的例子
Aug 09 Python
OpenCV+face++实现实时人脸识别解锁功能
Aug 28 Python
Python 脚本实现淘宝准点秒杀功能
Nov 13 Python
Python列表倒序输出及其效率详解
Mar 04 Python
PyQt5+python3+pycharm开发环境配置教程
Mar 24 Python
python 爬虫之selenium可视化爬虫的实现
Dec 04 Python
Pandas中两个dataframe的交集和差集的示例代码
Dec 13 Python
Python控制多进程与多线程并发数总结
Oct 26 #Python
Python网络爬虫项目:内容提取器的定义
Oct 25 #Python
Python实现ssh批量登录并执行命令
Oct 25 #Python
详解Python的Lambda函数与排序
Oct 25 #Python
Python脚本实现Web漏洞扫描工具
Oct 25 #Python
python+django快速实现文件上传
Oct 24 #Python
python实现简单爬虫功能的示例
Oct 24 #Python
You might like
十天学会php(1)
2006/10/09 PHP
模仿OSO的论坛(四)
2006/10/09 PHP
改变Apache端口等配置修改方法
2008/06/05 PHP
php中数字、字符与对象判断函数用法实例
2014/11/26 PHP
php中最简单的字符串匹配算法
2014/12/16 PHP
PHP使用内置dir类实现目录遍历删除
2015/03/31 PHP
建立良好体验度的Web注册系统ajax
2007/07/09 Javascript
jQuery boxy弹出层插件中文演示及使用讲解
2011/02/24 Javascript
js实现遮罩层划出效果是生成div而不是显示
2014/07/29 Javascript
详细解密jsonp跨域请求
2015/04/15 Javascript
微信小程序 animation API详解及实例代码
2016/10/08 Javascript
用jmSlip编写移动端顶部日历选择控件
2016/10/24 Javascript
vue使用$emit时,父组件无法监听到子组件的事件实例
2018/02/26 Javascript
讲解vue-router之什么是嵌套路由
2018/05/28 Javascript
Vuex中的State使用介绍
2019/01/19 Javascript
Vue通过WebSocket建立长连接的实现代码
2019/11/05 Javascript
JavaScript, select标签元素左右移动功能实现
2020/05/14 Javascript
python 堆和优先队列的使用详解
2019/03/05 Python
使用Python进行体育竞技分析(预测球队成绩)
2019/05/16 Python
使用python list 查找所有匹配元素的位置实例
2019/06/11 Python
python修改字典键(key)的方法
2019/08/05 Python
python pprint模块中print()和pprint()两者的区别
2020/02/10 Python
Python中使用threading.Event协调线程的运行详解
2020/05/02 Python
python 实现全球IP归属地查询工具
2020/12/18 Python
CSS3 @media的基本用法总结
2019/09/10 HTML / CSS
详解HTML5中download属性的应用
2015/08/06 HTML / CSS
英国排名第一的在线宠物用品商店:Monster Pet Supplies
2018/05/20 全球购物
SIMON MILLER官网:洛杉矶的生活方式品牌
2020/10/19 全球购物
int和Integer有什么区别
2013/05/25 面试题
高中毕业生自我鉴定
2013/11/03 职场文书
省级四好少年事迹材料
2014/01/25 职场文书
美术教师岗位职责
2014/03/18 职场文书
大学生党员学习焦裕禄精神思想汇报
2014/09/10 职场文书
民政工作个人总结
2015/02/28 职场文书
酒店人事主管岗位职责
2015/04/11 职场文书
使用opencv-python如何打开USB或者笔记本前置摄像头
2022/06/21 Python