python 常见的反爬虫策略


Posted in Python onSeptember 27, 2020

1、判断请求头来进行反爬

这是很早期的网站进行的反爬方式

User-Agent 用户代理
referer 请求来自哪里
cookie 也可以用来做访问凭证
解决办法:请求头里面添加对应的参数(复制浏览器里面的数据)

2、根据用户行为来进行反爬

请求频率过高,服务器设置规定时间之内的请求阈值
解决办法:降低请求频率或者使用代理(IP代理)
网页中设置一些陷阱(正常用户访问不到但是爬虫可以访问到)
解决办法:分析网页,避开这些特殊陷阱
请求间隔太短,返回相同的数据
解决办法:增加请求间隔

3、js加密

反爬方式中较为难处理的一类。
js加密的原理:服务器响应给浏览器的js文件,可以动态的生成一些加密参数,浏览器会根据js的计算 得到这些参数,在请求中带入进来,如果请求中没有这些参数,那么服务器就任务请求无效。

python 常见的反爬虫策略

4、字体加密

字体反爬,是一种常见的反爬技术,网站采用了自定义的字体文件,在浏览器上正常显示,但是爬虫抓取下来的数据要么就是乱码,要么就是变成其他字符。采用自定义字体文件是CSS3的新特性,熟悉前端的同学可能知道,就是font-face属性。

python 常见的反爬虫策略

5、登录验证码

使用Python爬取网页内容时往往会遇到使用验证码登陆才能访问其网站,不同网站的使用的验证码也不同,在最开始使用简单验证码,识别数字,但是随着反爬的不断发展,慢慢设计出了更多复杂的验证码,比如:内容验证码、滑动验证码、图片拼接验证码等等。
网上有很多打码平台,通过注册账号,调用平台接口,进行验证码的验证。

python 常见的反爬虫策略

6、md5相关知识

MD5,消息摘要算法,一种被广泛使用的密码散列函数,可以产生出一个128位(16字节)的散列值(hash value),用于确保信息传输完整一致。MD5是最常见的摘要算法,速度很快,生成结果是固定的128 bit字节,通常用一个32位的16进制字符串表示。MD5的特点:
1.不可逆:不能从密文推导出明文。
2.不管明文长度为多少,密文的长度都固定。
3.密文之间不会重复。

import hashlib
print(hashlib.md5('python'.encode()).hexdigest())

字符串python加密后的结果:

23eeeb4347bdd26bfc6b7ee9a3b755dd

7、base64

Base64是网络上最常见的用于传输8Bit字节码的编码方式之一,Base64就是一种基于64个可打印字符来表示二进制数据的方法。Base64编码是从二进制到字符的过程,可用于在HTTP环境下传递较长的标识信息。采用Base64编码具有不可读性,需要解码后才能阅读。

import base64

#python中base64的加密
print(base64.b64encode('python'.encode()).decode())
#python中base64的解密
print(base64.b64decode('Y2hpbmE='.encode()).decode())

结果:

cHl0aG9u
china

二、验证码验证

自己动手看验证码(古诗词网)

import requests

url = "gushiwen.org"

session = requests.Session()

text = session.get(url).text

# 解析响应,找到验证码的图片地址,
# 下载验证码图片,保存
with open('code.jpg', 'wb')as f:
  f.write('验证码的url地址'.encode())

code = input('验证码是: ')

login_url = "login.com"

data = {
  "username": 'xx',
  "password": 'xx',
  "code": code
}
requests.post(url, data=data)

使用打码平台(图鉴)

新建一个captcha_api.py

import json
import requests
import base64
from io import BytesIO
from PIL import Image
from sys import version_info


def base64_api(uname, pwd, img):
  img = img.convert('RGB')
  buffered = BytesIO()
  img.save(buffered, format="JPEG")
  if version_info.major >= 3:
    b64 = str(base64.b64encode(buffered.getvalue()), encoding='utf-8')
  else:
    b64 = str(base64.b64encode(buffered.getvalue()))
  data = {"username": uname, "password": pwd, "image": b64}
  result = json.loads(requests.post("http://api.ttshitu.com/base64", json=data).text)
  if result['success']:
    return result["data"]["result"]
  else:
    return result["message"]
  return ""


def request_captcha(uname, pwd, img_path):
  img_path = img_path # 待验证的验证码路径
  img = Image.open(img_path)
  result = base64_api(uname, pwd, img)
  # 传入账号 密码 和图片
  print(result)

新建use_code.py,调用接口

img_path = '图片路径'

from captcha_api import request_captcha

ret = request_captcha("账号", "密码", img_path)

以上就是python 常见的反爬虫策略的详细内容,更多关于python反爬虫的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
简单介绍Python下自己编写web框架的一些要点
Apr 29 Python
Python中threading模块join函数用法实例分析
Jun 04 Python
在Django框架中伪造捕捉到的URLconf值的方法
Jul 18 Python
Django 导出 Excel 代码的实例详解
Aug 11 Python
Python实现的递归神经网络简单示例
Aug 11 Python
Request的中断和ErrorHandler实例解析
Feb 12 Python
python生成n个元素的全组合方法
Nov 13 Python
PyGame贪吃蛇的实现代码示例
Nov 21 Python
python多进程并发demo实例解析
Dec 13 Python
Pycharm插件(Grep Console)自定义规则输出颜色日志的方法
May 27 Python
Python常用扩展插件使用教程解析
Nov 02 Python
Python+unittest+DDT实现数据驱动测试
Nov 30 Python
python 5个实用的技巧
Sep 27 #Python
Python日志器使用方法及原理解析
Sep 27 #Python
python 爬取免费简历模板网站的示例
Sep 27 #Python
python如何提升爬虫效率
Sep 27 #Python
python操作链表的示例代码
Sep 27 #Python
python用tkinter实现一个简易能进行随机点名的界面
Sep 27 #Python
python实现暗通道去雾算法的示例
Sep 27 #Python
You might like
mayfish 数据入库验证代码
2010/04/30 PHP
PHPwind整合最土系统用户同步登录实现方法
2010/12/08 PHP
php函数之子字符串替换 str_replace
2011/03/23 PHP
深入解析Session是否必须依赖Cookie
2013/08/02 PHP
php操纵mysqli数据库的实现方法
2016/09/18 PHP
php微信公众号开发之校园图书馆
2018/10/20 PHP
php实现通过stomp协议连接ActiveMQ操作示例
2020/02/23 PHP
Asp.net下使用Jquery Ajax传送和接收DataTable的代码
2010/09/12 Javascript
JS生成随机字符串的多种方法
2014/06/10 Javascript
js实现对table动态添加、删除和更新的方法
2015/02/10 Javascript
window.open()实现post传递参数
2015/03/12 Javascript
JavaScript原生xmlHttp与jquery的ajax方法json数据格式实例
2015/12/04 Javascript
jQuery内容筛选选择器实例代码
2017/02/06 Javascript
使用jquery判断一个元素是否含有一个指定的类(class)实例
2017/02/12 Javascript
JS限制输入框输入的实现代码
2018/07/02 Javascript
浅析vue 函数配置项watch及函数 $watch 源码分享
2018/11/22 Javascript
微信小程序 wx:for遍历循环使用实例解析
2019/09/09 Javascript
jQuery Datatables 动态列+跨列合并实现代码
2020/01/30 jQuery
[01:29]Ti4循环赛第三日精彩回顾
2014/07/13 DOTA
Python保存MongoDB上的文件到本地的方法
2016/03/16 Python
Python 迭代器工具包【推荐】
2016/05/06 Python
Python随机生成均匀分布在三角形内或者任意多边形内的点
2017/12/14 Python
python实现图片九宫格分割
2021/03/07 Python
python脚本实现音频m4a格式转成MP3格式的实例代码
2019/10/09 Python
利用Python裁切tiff图像且读取tiff,shp文件的实例
2020/03/10 Python
BeautifulSoup获取指定class样式的div的实现
2020/12/07 Python
HTML5 语音搜索只需一句代码
2013/01/03 HTML / CSS
CHARLES & KEITH澳大利亚官网:新加坡时尚品牌
2019/01/22 全球购物
焊接专业毕业生求职信
2013/10/01 职场文书
超市总经理岗位职责
2014/02/02 职场文书
情人节活动策划方案
2014/02/27 职场文书
环保建议书作文
2014/03/12 职场文书
小学端午节活动总结
2015/02/11 职场文书
mybatis源码解读之executor包语句处理功能
2022/02/15 Java/Android
Python 绘制多因子柱状图
2022/05/11 Python
python 使用pandas读取csv文件的方法
2022/12/24 Python