python做反被爬保护的方法


Posted in Python onJuly 01, 2019

网络爬虫,是一个自动提取网页的程序,它为搜索引擎从万维网上下载网页,是搜索引擎的重要组成。但是当网络爬虫被滥用后,互联网上就出现太多同质的东西,原创得不到保护。于是,很多网站开始反网络爬虫,想方设法保护自己的内容。

一: User-Agent +Referer检测

User-Agent 是HTTP协议的中的一个字段, 其作用是描述发出HTTP请求的终端的一些信息。

使得服务器能够识别客户使用的操作系统及版本、CPU 类型、浏览器及版本、浏览器渲染引擎、浏览器语言、浏览器插件等。

服务器通过这个字段就可以知道访问网站的是什么人。对于不是正常浏览器的用户进行屏蔽。

解决方案:

伪装浏览器的User-Agent,因为每个浏览器的User-Agent不一样,并且所有的用户都能使用浏览器。所有每次请求的时候条件浏览器的User-Agent,就能解决UA检测

Referer是header的一部分,当浏览器向web服务器发送请求的时候,一般会带上Referer,告诉服务器我是从哪个页面链接过来的。例如有一些图片网站在你请求图片的时候,就会检测你的Referer值,如果Referer不符合,不会返回正常的图片。

解决方案:

在检测referer的请求中,携带符合的referer值。

二: js混淆和渲染

所谓 JavaScript 混淆,基本就是:

1.去掉一些实际没有调用的函数。

2.将零散的变量声明合并。

3.逻辑函数的精简。

4.变量名的简化。具体要看不同的压缩工具的考虑优劣。常见的有UglifyJS、JScrambler等工具。

js渲染其实就是对HTML页面的修改。比如有一些网页本身没有返回数据,数据是经过js加载之后添加到HTML当中的。当遇到这种情况的时候,我们要知道爬虫是不会执行JavaScript操作。所以需要用其他的方法处理。

解决方案:

1.通过阅读网站js源码,找到关键的代码,并用python实现。

2.通过阅读网站js源码,找到关键的代码,用PyV8,execjs等库直接执行js代码。

3.通过selenium库直接模拟浏览器环境

三:IP限制频次

WEB系统都是走http协议跟WEB容器连通的,每次请求至少会产生一次客户端与服务器的tcp连接。

对于服务端来说可以很清楚的查看到,一个ip地址在单位时间内发起的请求。

当请求数超过一定的值之后,就可判断为非正常的用户请求。

解决方案:

1.自行设计ip代理池,通过轮换的方式,每次请求携带不同的代理地址。

2.ADSL动态拨号他有个独有的特点,每拨一次号,就获取一个新的IP。也就是它的IP是不固定的。

四:验证码

验证码(CAPTCHA)是“Completely Automated PublicTuring test to tell Computers and HumansApart”(全自动区分计算机和人类的图灵测试)的缩写,是一种区分用户是计算机还是人的公共全自动程序。

可以防止:恶意破解密码、刷票、论坛灌水,有效防止某个黑客对某一个特定注册用户用特定程序暴力破解方式进行不断的登陆尝试。

这个问题可以由计算机生成并评判,但是必须只有人类才能解答。由于计算机无法解答CAPTCHA的问题,所以回答出问题的用户就可以被认为是人类。

解决方案:

1.手动识别验证码

2.pytesseract识别简单的验证码

3.对接打码平台

4.机器学习

扩展知识:

基于反爬的相关实例代码:

#! /usr/bin/env python3.4
#-*- coding:utf-8 -*-
#__author__ == "tyomcat"
 
 
import urllib.request
import random
import re
 
url='http://www.whatismyip.com.tw'
iplist=['121.193.143.249:80','112.126.65.193:80','122.96.59.104:82','115.29.98.139:9999','117.131.216.214:80','116.226.243.166:8118','101.81.22.21:8118','122.96.59.107:843']
 
proxy_support = urllib.request.ProxyHandler({'http':random.choice(iplist)})
opener=urllib.request.build_opener(proxy_support)
opener.addheaders=[('User-Agent','Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.87 Safari/537.36')]
urllib.request.install_opener(opener)
response = urllib.request.urlopen(url)
html = response.read().decode('utf-8')
 
pattern = re.compile('<h1>(.*?)</h1>.*?<h2>(.*?)</h2>')
iterms=re.findall(pattern,html)
for item in iterms:
  print(item[0]+":"+item[1])
#! /usr/bin/env python
# -*- coding:utf-8 -*-
#__author__ == "tyomcat"
 
from selenium import webdriver
import time
import re
 
drive = webdriver.PhantomJS(executable_path='phantomjs-2.1.1-linux-x86_64/bin/phantomjs')
drive.get('https://mm.taobao.com/self/model_info.htm?user_id=189942305&is_coment=false')
 
time.sleep(5)
 
pattern = re.compile(r'<div.*?mm-p-domain-info">.*?class="mm-p-info-cell clearfix">.*?<li>.*?<label>(.*?)</label><span>(.*?)</span>',re.S)
html=drive.page_source.encode('utf-8','ignore')
items=re.findall(pattern,html)
for item in items:
  print item[0],'http:'+item[1]
drive.close()
Python 相关文章推荐
简单的Python抓taobao图片爬虫
Oct 26 Python
使用Python下的XSLT API进行web开发的简单教程
Apr 15 Python
Python简单实现自动删除目录下空文件夹的方法
Aug 29 Python
用Python写王者荣耀刷金币脚本
Dec 21 Python
Python3.5装饰器典型案例分析
Apr 30 Python
python Gunicorn服务器使用方法详解
Jul 22 Python
keras 特征图可视化实例(中间层)
Jan 24 Python
TensorFlow实现批量归一化操作的示例
Apr 22 Python
python爬取代理IP并进行有效的IP测试实现
Oct 09 Python
python 基于wx实现音乐播放
Nov 24 Python
python3中for循环踩过的坑记录
Dec 14 Python
用Python远程登陆服务器的步骤
Apr 16 Python
python全栈知识点总结
Jul 01 #Python
python实现可变变量名方法详解
Jul 01 #Python
12个步骤教你理解Python装饰器
Jul 01 #Python
详解利用python+opencv识别图片中的圆形(霍夫变换)
Jul 01 #Python
在python里面运用多继承方法详解
Jul 01 #Python
详解利用OpenCV提取图像中的矩形区域(PPT屏幕等)
Jul 01 #Python
用python打印1~20的整数实例讲解
Jul 01 #Python
You might like
php格式化日期和时间格式化示例分享
2014/02/24 PHP
PHP模板引擎Smarty内建函数foreach,foreachelse用法分析
2016/04/11 PHP
PHP实现导出带样式的Excel
2016/08/28 PHP
PHP实现的策略模式简单示例
2017/08/25 PHP
JQuery 表格操作(交替显示、拖动表格行、选择行等)
2009/07/29 Javascript
JavaScript中使用replace结合正则实现replaceAll的效果
2010/06/04 Javascript
(跨浏览器基础事件/浏览器检测/判断浏览器)经验代码分享
2013/01/24 Javascript
Js判断参数(String,Array,Object)是否为undefined或者值为空
2013/11/04 Javascript
Js判断CSS文件加载完毕的具体实现
2014/01/17 Javascript
js鼠标悬浮出现遮罩层的方法
2015/01/28 Javascript
JavaScript返回当前会话cookie全部键值对照的方法
2015/04/03 Javascript
解决JS无法调用Controller问题的方法
2015/12/31 Javascript
JavaScript知识点总结(十一)之js中的Object类详解
2016/05/31 Javascript
javascript 数组的正态分布排序的问题
2016/07/31 Javascript
javascript数组常用方法汇总
2016/09/10 Javascript
微信小程序 实战小程序实例
2016/10/08 Javascript
深入nodejs中流(stream)的理解
2017/03/27 NodeJs
深入理解ES6 Promise 扩展always方法
2017/09/26 Javascript
详解Vue中watch的高级用法
2018/05/02 Javascript
vue-router懒加载速度缓慢问题及解决方法
2018/11/25 Javascript
[55:56]NB vs Infamous 2019国际邀请赛淘汰赛 败者组 BO3 第二场 8.22
2019/09/05 DOTA
深入Python解释器理解Python中的字节码
2015/04/01 Python
python3中str(字符串)的使用教程
2017/03/23 Python
python实现rsa加密实例详解
2017/07/19 Python
python 简单搭建阻塞式单进程,多进程,多线程服务的实例
2017/11/01 Python
你正在寻找的CSS3 动画技术
2011/07/27 HTML / CSS
HelloFresh澳大利亚:订购你的美味食品盒、健康餐食
2018/03/28 全球购物
StubHub新西兰:购买和出售你的门票
2019/04/22 全球购物
大学生实习证明范本
2014/01/15 职场文书
农村产权制度改革实施方案
2014/03/21 职场文书
2014年医院工作总结
2014/11/20 职场文书
合作与交流自我评价
2015/03/09 职场文书
2015年食堂工作总结报告
2015/04/23 职场文书
2015年初中教务处工作总结
2015/07/21 职场文书
小学五年级(说明文3篇)
2019/08/13 职场文书
5个pandas调用函数的方法让数据处理更加灵活自如
2022/04/24 Python