python爬虫破解字体加密案例详解


Posted in Python onMarch 02, 2021

本次案例以爬取起小点小说为例

案例目的:

通过爬取起小点小说月票榜的名称和月票数,介绍如何破解字体加密的反爬,将加密的数据转化成明文数据。

程序功能:

输入要爬取的页数,得到每一页对应的小说名称和月票数。

案例分析: 找到目标的url:

python爬虫破解字体加密案例详解

(右键检查)找到小说名称所在的位置:

python爬虫破解字体加密案例详解

通过名称所在的节点位置,找到小说名称的xpath语法:

python爬虫破解字体加密案例详解

(右键检查)找到月票数所在的位置:

python爬虫破解字体加密案例详解

由上图发现,检查月票数据的文本,得到一串加密数据。

我们通过xpathhelper进行调试发现,无法找到加密数据的语法。因此,需要通过正则表达式进行提取。

通过正则进行数据提取。

python爬虫破解字体加密案例详解

正则表达式如下:

python爬虫破解字体加密案例详解

得到的加密数据如下:

python爬虫破解字体加密案例详解

破解加密数据是本次案例的关键:

既然是加密数据,就会有加密数据所对应的加密规则的Font文件。
通过找到Font字体文件中数据加密文件的url,发送请求,获取响应,得到加密数据的woff文件。

注:我们需要的woff文件,名称与加密月票数前面的class属性相同。

python爬虫破解字体加密案例详解

如下图,下载woff文件:

找到16进制的数字对应的英文数字。

python爬虫破解字体加密案例详解

其次,我们需要通过第三方库TTFont将文件中的16进制数转换成10进制,将英文数字转换成阿拉伯数字。如下图:

python爬虫破解字体加密案例详解

解析出每个加密数据对应的对应的月票数的数字如下:

python爬虫破解字体加密案例详解

注意:

由于我们在上面通过正则表式获得的加密数据携带特殊符号

python爬虫破解字体加密案例详解

因此解析出月票数据中的数字之后,除了将特殊符号去除,还需把每个数字进行拼接,得到最后的票数。

最后,通过对比不同页的url,找到翻页的规律:

python爬虫破解字体加密案例详解
python爬虫破解字体加密案例详解
python爬虫破解字体加密案例详解

对比三个不同url发现,翻页的规律在于参数page

所以问题分析完毕,开始代码:

import requests
from lxml import etree
import re
from fontTools.ttLib import TTFont
import json

if __name__ == '__main__':
  # 输入爬取的页数、
  pages = int(input('请输入要爬取的页数:')) # eg:pages=1,2
  for i in range(pages): # i=0,(0,1)
    page = i+1  # 1,(1,2)
    # 确认目标的url
    url_ = f'https://www.qidian.com/rank/yuepiao?page={page}'
    # 构造请求头参数
    headers = {
      'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.150 Safari/537.36'
    }
    # 发送请求,获取响应
    response_ = requests.get(url_,headers=headers)
    # 响应类型为html问文本
    str_data = response_.text
    # 将html文本转换成python文件
    py_data = etree.HTML(str_data)
    # 提取文本中的目标数据
    title_list = py_data.xpath('//h4/a[@target="_blank"]/text() ')
    # 提取月票数,由于利用xpath语法无法提取,因此换用正则表达式,正则提取的目标为response_.text
    mon_list = re.findall('</style><span class=".*?">(.*?)</span></span>',str_data)
    print(mon_list)
    # 获取字体反爬woff文件对应的url,xpath配合正则使用
    fonturl_str = py_data.xpath('//p/span/style/text()')
    font_url = re.findall(r"format\('eot'\); src: url\('(.*?)'\) format\('woff'\)",str_data)[0]
    print(font_url)
    # 获得url之后,构造请求头获取响应
    headers_ = {
      'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.150 Safari/537.36',
      'Referer':'https://www.qidian.com/'
    }
    # 发送请求,获取响应
    font_response = requests.get(font_url,headers=headers_)
    # 文件类型未知,因此用使用content格式
    font_data = font_response.content
    # 保存到本地
    with open('加密font文件.woff','wb')as f:
      f.write(font_data)
    # 解析加密的font文件
    font_obj = TTFont('加密font文件.woff')
    # 将文件转成明文的xml文件
    font_obj.saveXML('加密font文件.xml')
    # 获取字体加密的关系映射表,将16进制转换成10进制
    cmap_list = font_obj.getBestCmap()
    print('字体加密关系映射表:',cmap_list)
    # 创建英文转英文的字典
    dict_e_a = {'one':'1','two':'2','three':'3','four':'4','five':'5','six':'6',
          'seven':'7','eight':'8','nine':'9','zero':'0'}
    # 将英文数据进行转换
    for i in cmap_list:
      for j in dict_e_a:
        if j == cmap_list[i]:
          cmap_list[i] = dict_e_a[j]
    print('转换为阿拉伯数字的映射表为:',cmap_list)
    # 去掉加密的月票数据列表中的符号
    new_mon_list = []
    for i in mon_list:
      list_ = re.findall(r'\d+',i)
      new_mon_list.append(list_)
    print('去掉符号之后的月票数据列表为:',new_mon_list)
    # 最终解析月票数据
    for i in new_mon_list:
      for j in enumerate(i):
        for k in cmap_list:
          if j[1] == str(k):
            i[j[0]] = cmap_list[k]
    print('解析之后的月票数据为:',new_mon_list)
    # 将月票数据进行拼接
    new_list = []
    for i in new_mon_list:
      j = ''.join(i)
      new_list.append(j)
    print('解析出的明文数据为:',new_list)
    # 将名称和对应的月票数据放进字典,并转换成json格式及进行保存
    for i in range(len(title_list)):
      dict_ = {}
      dict_[title_list[i]] = new_list[i]
      # 将字典转换成json格式
      json_data = json.dumps(dict_,ensure_ascii=False)+',\n'
      # 将数据保存到本地
      with open('翻页起小点月票榜数据爬取.json','a',encoding='utf-8')as f:
        f.write(json_data)

爬取了两页的数据,每一页包含20个数据

执行结果如下:

python爬虫破解字体加密案例详解

到此这篇关于python爬虫破解字体加密案例详解的文章就介绍到这了,更多相关python爬虫破解字体加密内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
简单说明Python中的装饰器的用法
Apr 24 Python
简单谈谈Python中的json与pickle
Jul 19 Python
windows 下python+numpy安装实用教程
Dec 23 Python
python取数作为临时极大值(极小值)的方法
Oct 15 Python
Django页面数据的缓存与使用的具体方法
Apr 23 Python
Pandas_cum累积计算和rolling滚动计算的用法详解
Jul 04 Python
python生成任意频率正弦波方式
Feb 25 Python
用python实现名片管理系统
Jun 18 Python
使paramiko库执行命令时在给定的时间强制退出功能的实现
Mar 03 Python
Python进行区间取值案例讲解
Aug 02 Python
python全面解析接口返回数据
Feb 12 Python
Python自动操作神器PyAutoGUI的使用教程
Jun 16 Python
python包的导入方式总结
Mar 02 #Python
numpy实现RNN原理实现
Mar 02 #Python
解决tensorflow模型压缩的问题_踩坑无数,总算搞定
Mar 02 #Python
python Protobuf定义消息类型知识点讲解
Mar 02 #Python
Django项目在pycharm新建的步骤方法
Mar 02 #Python
基于注解实现 SpringBoot 接口防刷的方法
Mar 02 #Python
python Autopep8实现按PEP8风格自动排版Python代码
Mar 02 #Python
You might like
PHP中include()与require()的区别说明
2010/03/10 PHP
一个完整的PHP类包含的七种语法说明
2015/06/04 PHP
php微信公众平台开发(一) 配置接口
2016/12/06 PHP
非常不错的一个javascript 类
2006/11/07 Javascript
国外Lightbox v2.03.3 最新版 下载
2007/10/17 Javascript
JS Array对象入门分析
2008/10/30 Javascript
jQuery图片预加载 等比缩放实现代码
2011/10/04 Javascript
JS 实现导航栏悬停效果
2013/09/23 Javascript
js实现连个数字相加而不是拼接的方法
2014/02/23 Javascript
jQuery mobile 移动web(6)
2015/12/20 Javascript
js实现增加数字显示的环形进度条效果
2017/02/05 Javascript
Angular2利用组件与指令实现图片轮播组件
2017/03/27 Javascript
Node.js+jade抓取博客所有文章生成静态html文件的实例
2017/09/19 Javascript
js精确的加减乘除实例
2017/11/14 Javascript
Angular简单验证功能示例
2017/12/22 Javascript
Vue.js 踩坑记之双向绑定
2018/05/03 Javascript
使用vue-cli导入Element UI组件的方法
2018/05/16 Javascript
js form表单input框限制20个字符,10个汉字代码实例
2019/04/12 Javascript
vue中template的三种写法示例
2020/10/21 Javascript
Python生成随机MAC地址
2015/03/10 Python
Python如何获取系统iops示例代码
2016/09/06 Python
python3使用smtplib实现发送邮件功能
2018/05/22 Python
Python面向对象之类的定义与继承用法示例
2019/01/14 Python
seek引发的python文件读写的问题及解决
2019/07/26 Python
ipad上运行python的方法步骤
2019/10/12 Python
如何在Python3中使用telnetlib模块连接网络设备
2020/09/21 Python
如何用python 操作zookeeper
2020/12/28 Python
双立人美国官方商店:ZWILLING集团餐具和炊具
2020/05/07 全球购物
几道数据库的面试题或笔试题
2014/05/31 面试题
迟到检讨书400字
2014/01/13 职场文书
表演方阵解说词
2014/02/08 职场文书
活动总结的格式
2014/05/07 职场文书
国庆节促销广告语2014
2014/09/19 职场文书
幼儿园教师工作总结2015
2015/04/02 职场文书
2016年幼儿园万圣节活动总结
2016/04/05 职场文书
Python爬虫网络请求之代理服务器和动态Cookies
2022/04/12 Python