python做反被爬保护的方法


Posted in Python onJuly 01, 2019

网络爬虫,是一个自动提取网页的程序,它为搜索引擎从万维网上下载网页,是搜索引擎的重要组成。但是当网络爬虫被滥用后,互联网上就出现太多同质的东西,原创得不到保护。于是,很多网站开始反网络爬虫,想方设法保护自己的内容。

一: User-Agent +Referer检测

User-Agent 是HTTP协议的中的一个字段, 其作用是描述发出HTTP请求的终端的一些信息。

使得服务器能够识别客户使用的操作系统及版本、CPU 类型、浏览器及版本、浏览器渲染引擎、浏览器语言、浏览器插件等。

服务器通过这个字段就可以知道访问网站的是什么人。对于不是正常浏览器的用户进行屏蔽。

解决方案:

伪装浏览器的User-Agent,因为每个浏览器的User-Agent不一样,并且所有的用户都能使用浏览器。所有每次请求的时候条件浏览器的User-Agent,就能解决UA检测

Referer是header的一部分,当浏览器向web服务器发送请求的时候,一般会带上Referer,告诉服务器我是从哪个页面链接过来的。例如有一些图片网站在你请求图片的时候,就会检测你的Referer值,如果Referer不符合,不会返回正常的图片。

解决方案:

在检测referer的请求中,携带符合的referer值。

二: js混淆和渲染

所谓 JavaScript 混淆,基本就是:

1.去掉一些实际没有调用的函数。

2.将零散的变量声明合并。

3.逻辑函数的精简。

4.变量名的简化。具体要看不同的压缩工具的考虑优劣。常见的有UglifyJS、JScrambler等工具。

js渲染其实就是对HTML页面的修改。比如有一些网页本身没有返回数据,数据是经过js加载之后添加到HTML当中的。当遇到这种情况的时候,我们要知道爬虫是不会执行JavaScript操作。所以需要用其他的方法处理。

解决方案:

1.通过阅读网站js源码,找到关键的代码,并用python实现。

2.通过阅读网站js源码,找到关键的代码,用PyV8,execjs等库直接执行js代码。

3.通过selenium库直接模拟浏览器环境

三:IP限制频次

WEB系统都是走http协议跟WEB容器连通的,每次请求至少会产生一次客户端与服务器的tcp连接。

对于服务端来说可以很清楚的查看到,一个ip地址在单位时间内发起的请求。

当请求数超过一定的值之后,就可判断为非正常的用户请求。

解决方案:

1.自行设计ip代理池,通过轮换的方式,每次请求携带不同的代理地址。

2.ADSL动态拨号他有个独有的特点,每拨一次号,就获取一个新的IP。也就是它的IP是不固定的。

四:验证码

验证码(CAPTCHA)是“Completely Automated PublicTuring test to tell Computers and HumansApart”(全自动区分计算机和人类的图灵测试)的缩写,是一种区分用户是计算机还是人的公共全自动程序。

可以防止:恶意破解密码、刷票、论坛灌水,有效防止某个黑客对某一个特定注册用户用特定程序暴力破解方式进行不断的登陆尝试。

这个问题可以由计算机生成并评判,但是必须只有人类才能解答。由于计算机无法解答CAPTCHA的问题,所以回答出问题的用户就可以被认为是人类。

解决方案:

1.手动识别验证码

2.pytesseract识别简单的验证码

3.对接打码平台

4.机器学习

扩展知识:

基于反爬的相关实例代码:

#! /usr/bin/env python3.4
#-*- coding:utf-8 -*-
#__author__ == "tyomcat"
 
 
import urllib.request
import random
import re
 
url='http://www.whatismyip.com.tw'
iplist=['121.193.143.249:80','112.126.65.193:80','122.96.59.104:82','115.29.98.139:9999','117.131.216.214:80','116.226.243.166:8118','101.81.22.21:8118','122.96.59.107:843']
 
proxy_support = urllib.request.ProxyHandler({'http':random.choice(iplist)})
opener=urllib.request.build_opener(proxy_support)
opener.addheaders=[('User-Agent','Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.87 Safari/537.36')]
urllib.request.install_opener(opener)
response = urllib.request.urlopen(url)
html = response.read().decode('utf-8')
 
pattern = re.compile('<h1>(.*?)</h1>.*?<h2>(.*?)</h2>')
iterms=re.findall(pattern,html)
for item in iterms:
  print(item[0]+":"+item[1])
#! /usr/bin/env python
# -*- coding:utf-8 -*-
#__author__ == "tyomcat"
 
from selenium import webdriver
import time
import re
 
drive = webdriver.PhantomJS(executable_path='phantomjs-2.1.1-linux-x86_64/bin/phantomjs')
drive.get('https://mm.taobao.com/self/model_info.htm?user_id=189942305&is_coment=false')
 
time.sleep(5)
 
pattern = re.compile(r'<div.*?mm-p-domain-info">.*?class="mm-p-info-cell clearfix">.*?<li>.*?<label>(.*?)</label><span>(.*?)</span>',re.S)
html=drive.page_source.encode('utf-8','ignore')
items=re.findall(pattern,html)
for item in items:
  print item[0],'http:'+item[1]
drive.close()
Python 相关文章推荐
python 随机数生成的代码的详细分析
May 15 Python
python使用Flask框架获取用户IP地址的方法
Mar 21 Python
Windows下实现Python2和Python3两个版共存的方法
Jun 12 Python
详解Python Socket网络编程
Jan 05 Python
浅谈Python实现2种文件复制的方法
Jan 19 Python
python实现机器人行走效果
Jan 29 Python
关于python中密码加盐的学习体会小结
Jul 15 Python
基于python实现复制文件并重命名
Sep 16 Python
Python GUI之tkinter窗口视窗教程大集合(推荐)
Oct 20 Python
MoviePy简介及Python视频剪辑自动化
Dec 18 Python
对象析构函数__del__在Python中何时使用
Mar 22 Python
Python万能模板案例之matplotlib绘制直方图的基本配置
Apr 13 Python
python全栈知识点总结
Jul 01 #Python
python实现可变变量名方法详解
Jul 01 #Python
12个步骤教你理解Python装饰器
Jul 01 #Python
详解利用python+opencv识别图片中的圆形(霍夫变换)
Jul 01 #Python
在python里面运用多继承方法详解
Jul 01 #Python
详解利用OpenCV提取图像中的矩形区域(PPT屏幕等)
Jul 01 #Python
用python打印1~20的整数实例讲解
Jul 01 #Python
You might like
php 中英文语言转换类
2011/09/07 PHP
PHP实现克鲁斯卡尔算法实例解析
2014/08/22 PHP
Apache服务器下防止图片盗链的办法
2015/07/06 PHP
详解配置 Apache 服务器支持 PHP 文件的解析
2017/02/15 PHP
PHP实用小技巧之调用录像的方法
2019/12/05 PHP
Javascript 刷新全集常用代码
2009/11/22 Javascript
解决jQuery插件tipswindown与hintbox冲突
2010/11/05 Javascript
javascript使用正则获取url上的某个参数
2014/09/04 Javascript
Bootstrap每天必学之前端开发框架
2015/11/19 Javascript
你所未知的3种Node.js代码优化方式
2016/02/25 Javascript
JS作为值的函数用法示例
2016/06/20 Javascript
微信小程序实现表单校验功能
2020/03/30 Javascript
捕获未处理的Promise错误方法
2017/10/13 Javascript
浅谈React组件之性能优化
2018/03/02 Javascript
vue-cli 3.x 修改dist路径的方法
2018/09/19 Javascript
[02:38]DOTA2亚洲邀请赛小组赛精彩集锦:Wings完美团击溃对手
2017/03/29 DOTA
跟老齐学Python之集成开发环境(IDE)
2014/09/12 Python
巧用python和libnmapd,提取Nmap扫描结果
2016/08/23 Python
PyQt5每天必学之工具提示功能
2018/04/19 Python
Python随机函数库random的使用方法详解
2019/08/21 Python
python 实现dict转json并保存文件
2019/12/05 Python
PyCharm设置Ipython交互环境和宏快捷键进行数据分析图文详解
2020/04/23 Python
python利用文件时间批量重命名照片和视频
2021/02/09 Python
CSS3下的渐变文字效果实现示例
2018/03/02 HTML / CSS
用CSS3和table标签实现一个圆形轨迹的动画的示例代码
2019/01/17 HTML / CSS
澳大利亚男士西服品牌:M.J.Bale
2018/02/06 全球购物
SmartBuyGlasses意大利:购买太阳镜、眼镜和隐形眼镜
2018/11/20 全球购物
什么是反射?如何实现反射?
2016/07/25 面试题
高级技校毕业生自荐信
2013/11/18 职场文书
全民健身日活动方案
2014/01/29 职场文书
软件毕业生个人鉴定
2014/03/03 职场文书
社区公民道德宣传日活动总结
2015/03/23 职场文书
2015年副班长工作总结
2015/05/15 职场文书
python基础之类属性和实例属性
2021/10/24 Python
mysql中DCL常用的用户和权限控制
2022/03/31 MySQL
vue实现在data里引入相对路径
2022/06/05 Vue.js