python 常见的反爬虫策略


Posted in Python onSeptember 27, 2020

1、判断请求头来进行反爬

这是很早期的网站进行的反爬方式

User-Agent 用户代理
referer 请求来自哪里
cookie 也可以用来做访问凭证
解决办法:请求头里面添加对应的参数(复制浏览器里面的数据)

2、根据用户行为来进行反爬

请求频率过高,服务器设置规定时间之内的请求阈值
解决办法:降低请求频率或者使用代理(IP代理)
网页中设置一些陷阱(正常用户访问不到但是爬虫可以访问到)
解决办法:分析网页,避开这些特殊陷阱
请求间隔太短,返回相同的数据
解决办法:增加请求间隔

3、js加密

反爬方式中较为难处理的一类。
js加密的原理:服务器响应给浏览器的js文件,可以动态的生成一些加密参数,浏览器会根据js的计算 得到这些参数,在请求中带入进来,如果请求中没有这些参数,那么服务器就任务请求无效。

python 常见的反爬虫策略

4、字体加密

字体反爬,是一种常见的反爬技术,网站采用了自定义的字体文件,在浏览器上正常显示,但是爬虫抓取下来的数据要么就是乱码,要么就是变成其他字符。采用自定义字体文件是CSS3的新特性,熟悉前端的同学可能知道,就是font-face属性。

python 常见的反爬虫策略

5、登录验证码

使用Python爬取网页内容时往往会遇到使用验证码登陆才能访问其网站,不同网站的使用的验证码也不同,在最开始使用简单验证码,识别数字,但是随着反爬的不断发展,慢慢设计出了更多复杂的验证码,比如:内容验证码、滑动验证码、图片拼接验证码等等。
网上有很多打码平台,通过注册账号,调用平台接口,进行验证码的验证。

python 常见的反爬虫策略

6、md5相关知识

MD5,消息摘要算法,一种被广泛使用的密码散列函数,可以产生出一个128位(16字节)的散列值(hash value),用于确保信息传输完整一致。MD5是最常见的摘要算法,速度很快,生成结果是固定的128 bit字节,通常用一个32位的16进制字符串表示。MD5的特点:
1.不可逆:不能从密文推导出明文。
2.不管明文长度为多少,密文的长度都固定。
3.密文之间不会重复。

import hashlib
print(hashlib.md5('python'.encode()).hexdigest())

字符串python加密后的结果:

23eeeb4347bdd26bfc6b7ee9a3b755dd

7、base64

Base64是网络上最常见的用于传输8Bit字节码的编码方式之一,Base64就是一种基于64个可打印字符来表示二进制数据的方法。Base64编码是从二进制到字符的过程,可用于在HTTP环境下传递较长的标识信息。采用Base64编码具有不可读性,需要解码后才能阅读。

import base64

#python中base64的加密
print(base64.b64encode('python'.encode()).decode())
#python中base64的解密
print(base64.b64decode('Y2hpbmE='.encode()).decode())

结果:

cHl0aG9u
china

二、验证码验证

自己动手看验证码(古诗词网)

import requests

url = "gushiwen.org"

session = requests.Session()

text = session.get(url).text

# 解析响应,找到验证码的图片地址,
# 下载验证码图片,保存
with open('code.jpg', 'wb')as f:
  f.write('验证码的url地址'.encode())

code = input('验证码是: ')

login_url = "login.com"

data = {
  "username": 'xx',
  "password": 'xx',
  "code": code
}
requests.post(url, data=data)

使用打码平台(图鉴)

新建一个captcha_api.py

import json
import requests
import base64
from io import BytesIO
from PIL import Image
from sys import version_info


def base64_api(uname, pwd, img):
  img = img.convert('RGB')
  buffered = BytesIO()
  img.save(buffered, format="JPEG")
  if version_info.major >= 3:
    b64 = str(base64.b64encode(buffered.getvalue()), encoding='utf-8')
  else:
    b64 = str(base64.b64encode(buffered.getvalue()))
  data = {"username": uname, "password": pwd, "image": b64}
  result = json.loads(requests.post("http://api.ttshitu.com/base64", json=data).text)
  if result['success']:
    return result["data"]["result"]
  else:
    return result["message"]
  return ""


def request_captcha(uname, pwd, img_path):
  img_path = img_path # 待验证的验证码路径
  img = Image.open(img_path)
  result = base64_api(uname, pwd, img)
  # 传入账号 密码 和图片
  print(result)

新建use_code.py,调用接口

img_path = '图片路径'

from captcha_api import request_captcha

ret = request_captcha("账号", "密码", img_path)

以上就是python 常见的反爬虫策略的详细内容,更多关于python反爬虫的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
python统计字符串中指定字符出现次数的方法
Apr 04 Python
Python中的map()函数和reduce()函数的用法
Apr 27 Python
pandas数值计算与排序方法
Apr 12 Python
符合语言习惯的 Python 优雅编程技巧【推荐】
Sep 25 Python
pandas 转换成行列表进行读取与Nan处理的方法
Oct 30 Python
Python实现的简单线性回归算法实例分析
Dec 26 Python
python-itchat 获取微信群用户信息的实例
Feb 21 Python
Python3.4学习笔记之 idle 清屏扩展插件用法分析
Mar 01 Python
PYQT5实现控制台显示功能的方法
Jun 25 Python
python3实现elasticsearch批量更新数据
Dec 03 Python
python GUI库图形界面开发之PyQt5选项卡控件QTabWidget详细使用方法与实例
Mar 01 Python
matplotlib阶梯图的实现(step())
Mar 02 Python
python 5个实用的技巧
Sep 27 #Python
Python日志器使用方法及原理解析
Sep 27 #Python
python 爬取免费简历模板网站的示例
Sep 27 #Python
python如何提升爬虫效率
Sep 27 #Python
python操作链表的示例代码
Sep 27 #Python
python用tkinter实现一个简易能进行随机点名的界面
Sep 27 #Python
python实现暗通道去雾算法的示例
Sep 27 #Python
You might like
《斗罗大陆》六翼天使武魂最强,为什么老千家不是上三宗?
2020/03/02 国漫
Notice: Trying to get property of non-object problem(PHP)解决办法
2012/03/11 PHP
jquery滚动组件(vticker.js)实现页面动态数据的滚动效果
2013/07/03 Javascript
javaScript arguments 对象使用介绍
2013/10/18 Javascript
jQuery的cookie插件实现保存用户登陆信息
2014/04/15 Javascript
AngularJS中取消对HTML片段转义的方法例子
2015/01/04 Javascript
js前端面试题及答案整理(一)
2016/08/26 Javascript
jQuery模拟下拉框选择对应菜单的内容
2017/03/07 Javascript
vue打包相关细节整理(小结)
2018/09/28 Javascript
axios异步提交表单数据的几种方法
2019/08/11 Javascript
Vue使用Ref跨层级获取组件的步骤
2021/01/25 Vue.js
[55:11]完美世界DOTA2联赛PWL S2 SZ vs LBZS 第一场 11.26
2020/11/30 DOTA
Python实现批量下载文件
2015/05/17 Python
在Django的session中使用User对象的方法
2015/07/23 Python
Python遍历目录并批量更换文件名和目录名的方法
2016/09/19 Python
Python解惑之True和False详解
2017/04/24 Python
老生常谈python的私有公有属性(必看篇)
2017/06/09 Python
python爬取指定微信公众号文章
2018/12/20 Python
python+selenium 定位到元素,无法点击的解决方法
2019/01/30 Python
python 魔法函数实例及解析
2019/09/25 Python
使用python实现CGI环境搭建过程解析
2020/04/28 Python
Python可以实现栈的结构吗
2020/05/27 Python
html5+css3进度条倒计时动画特效代码【推荐】
2016/03/08 HTML / CSS
德国价格合理的品牌商品购物网站:averdo
2019/03/21 全球购物
linux面试题参考答案(9)
2015/01/07 面试题
小学教师的个人自我鉴定
2013/10/26 职场文书
甜美蛋糕店创业计划书
2014/01/30 职场文书
《姥姥的剪纸》教学反思
2014/02/25 职场文书
新品发布会主持词
2014/04/02 职场文书
初中学习计划书范文
2014/09/15 职场文书
四风问题对照检查材料
2014/09/22 职场文书
小学语文新课改心得体会
2016/01/22 职场文书
Golang Gob编码(gob包的使用详解)
2021/05/07 Golang
Redisson实现Redis分布式锁的几种方式
2021/08/07 Redis
Python Flask搭建yolov3目标检测系统详解流程
2021/11/07 Python
Mysql外键约束的创建与删除的使用
2022/03/03 MySQL