python爬虫破解字体加密案例详解


Posted in Python onMarch 02, 2021

本次案例以爬取起小点小说为例

案例目的:

通过爬取起小点小说月票榜的名称和月票数,介绍如何破解字体加密的反爬,将加密的数据转化成明文数据。

程序功能:

输入要爬取的页数,得到每一页对应的小说名称和月票数。

案例分析: 找到目标的url:

python爬虫破解字体加密案例详解

(右键检查)找到小说名称所在的位置:

python爬虫破解字体加密案例详解

通过名称所在的节点位置,找到小说名称的xpath语法:

python爬虫破解字体加密案例详解

(右键检查)找到月票数所在的位置:

python爬虫破解字体加密案例详解

由上图发现,检查月票数据的文本,得到一串加密数据。

我们通过xpathhelper进行调试发现,无法找到加密数据的语法。因此,需要通过正则表达式进行提取。

通过正则进行数据提取。

python爬虫破解字体加密案例详解

正则表达式如下:

python爬虫破解字体加密案例详解

得到的加密数据如下:

python爬虫破解字体加密案例详解

破解加密数据是本次案例的关键:

既然是加密数据,就会有加密数据所对应的加密规则的Font文件。
通过找到Font字体文件中数据加密文件的url,发送请求,获取响应,得到加密数据的woff文件。

注:我们需要的woff文件,名称与加密月票数前面的class属性相同。

python爬虫破解字体加密案例详解

如下图,下载woff文件:

找到16进制的数字对应的英文数字。

python爬虫破解字体加密案例详解

其次,我们需要通过第三方库TTFont将文件中的16进制数转换成10进制,将英文数字转换成阿拉伯数字。如下图:

python爬虫破解字体加密案例详解

解析出每个加密数据对应的对应的月票数的数字如下:

python爬虫破解字体加密案例详解

注意:

由于我们在上面通过正则表式获得的加密数据携带特殊符号

python爬虫破解字体加密案例详解

因此解析出月票数据中的数字之后,除了将特殊符号去除,还需把每个数字进行拼接,得到最后的票数。

最后,通过对比不同页的url,找到翻页的规律:

python爬虫破解字体加密案例详解
python爬虫破解字体加密案例详解
python爬虫破解字体加密案例详解

对比三个不同url发现,翻页的规律在于参数page

所以问题分析完毕,开始代码:

import requests
from lxml import etree
import re
from fontTools.ttLib import TTFont
import json

if __name__ == '__main__':
  # 输入爬取的页数、
  pages = int(input('请输入要爬取的页数:')) # eg:pages=1,2
  for i in range(pages): # i=0,(0,1)
    page = i+1  # 1,(1,2)
    # 确认目标的url
    url_ = f'https://www.qidian.com/rank/yuepiao?page={page}'
    # 构造请求头参数
    headers = {
      'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.150 Safari/537.36'
    }
    # 发送请求,获取响应
    response_ = requests.get(url_,headers=headers)
    # 响应类型为html问文本
    str_data = response_.text
    # 将html文本转换成python文件
    py_data = etree.HTML(str_data)
    # 提取文本中的目标数据
    title_list = py_data.xpath('//h4/a[@target="_blank"]/text() ')
    # 提取月票数,由于利用xpath语法无法提取,因此换用正则表达式,正则提取的目标为response_.text
    mon_list = re.findall('</style><span class=".*?">(.*?)</span></span>',str_data)
    print(mon_list)
    # 获取字体反爬woff文件对应的url,xpath配合正则使用
    fonturl_str = py_data.xpath('//p/span/style/text()')
    font_url = re.findall(r"format\('eot'\); src: url\('(.*?)'\) format\('woff'\)",str_data)[0]
    print(font_url)
    # 获得url之后,构造请求头获取响应
    headers_ = {
      'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.150 Safari/537.36',
      'Referer':'https://www.qidian.com/'
    }
    # 发送请求,获取响应
    font_response = requests.get(font_url,headers=headers_)
    # 文件类型未知,因此用使用content格式
    font_data = font_response.content
    # 保存到本地
    with open('加密font文件.woff','wb')as f:
      f.write(font_data)
    # 解析加密的font文件
    font_obj = TTFont('加密font文件.woff')
    # 将文件转成明文的xml文件
    font_obj.saveXML('加密font文件.xml')
    # 获取字体加密的关系映射表,将16进制转换成10进制
    cmap_list = font_obj.getBestCmap()
    print('字体加密关系映射表:',cmap_list)
    # 创建英文转英文的字典
    dict_e_a = {'one':'1','two':'2','three':'3','four':'4','five':'5','six':'6',
          'seven':'7','eight':'8','nine':'9','zero':'0'}
    # 将英文数据进行转换
    for i in cmap_list:
      for j in dict_e_a:
        if j == cmap_list[i]:
          cmap_list[i] = dict_e_a[j]
    print('转换为阿拉伯数字的映射表为:',cmap_list)
    # 去掉加密的月票数据列表中的符号
    new_mon_list = []
    for i in mon_list:
      list_ = re.findall(r'\d+',i)
      new_mon_list.append(list_)
    print('去掉符号之后的月票数据列表为:',new_mon_list)
    # 最终解析月票数据
    for i in new_mon_list:
      for j in enumerate(i):
        for k in cmap_list:
          if j[1] == str(k):
            i[j[0]] = cmap_list[k]
    print('解析之后的月票数据为:',new_mon_list)
    # 将月票数据进行拼接
    new_list = []
    for i in new_mon_list:
      j = ''.join(i)
      new_list.append(j)
    print('解析出的明文数据为:',new_list)
    # 将名称和对应的月票数据放进字典,并转换成json格式及进行保存
    for i in range(len(title_list)):
      dict_ = {}
      dict_[title_list[i]] = new_list[i]
      # 将字典转换成json格式
      json_data = json.dumps(dict_,ensure_ascii=False)+',\n'
      # 将数据保存到本地
      with open('翻页起小点月票榜数据爬取.json','a',encoding='utf-8')as f:
        f.write(json_data)

爬取了两页的数据,每一页包含20个数据

执行结果如下:

python爬虫破解字体加密案例详解

到此这篇关于python爬虫破解字体加密案例详解的文章就介绍到这了,更多相关python爬虫破解字体加密内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
Python3 中把txt数据文件读入到矩阵中的方法
Apr 27 Python
Python GUI编程 文本弹窗的实例
Jun 11 Python
Python Web框架之Django框架cookie和session用法分析
Aug 16 Python
python实现多线程端口扫描
Aug 31 Python
使用pytorch实现可视化中间层的结果
Dec 30 Python
Python3读取和写入excel表格数据的示例代码
Jun 09 Python
Keras 利用sklearn的ROC-AUC建立评价函数详解
Jun 15 Python
python3环境搭建过程(利用Anaconda+pycharm)完整版
Aug 19 Python
python 基于opencv 实现一个鼠标绘图小程序
Dec 11 Python
Python生成九宫格图片的示例代码
Apr 14 Python
Django使用echarts进行可视化展示的实践
Jun 10 Python
OpenCV-Python实现人脸美白算法的实例
Jun 11 Python
python包的导入方式总结
Mar 02 #Python
numpy实现RNN原理实现
Mar 02 #Python
解决tensorflow模型压缩的问题_踩坑无数,总算搞定
Mar 02 #Python
python Protobuf定义消息类型知识点讲解
Mar 02 #Python
Django项目在pycharm新建的步骤方法
Mar 02 #Python
基于注解实现 SpringBoot 接口防刷的方法
Mar 02 #Python
python Autopep8实现按PEP8风格自动排版Python代码
Mar 02 #Python
You might like
怎样在UNIX系统下安装php3
2006/10/09 PHP
PHP中调用ASP.NET的WebService的代码
2011/04/22 PHP
基于initPHP的框架介绍
2013/04/18 PHP
php递归方法实现无限分类实例代码
2014/02/28 PHP
PHP实现的简单适配器模式示例
2017/06/22 PHP
thinkPHP框架实现的短信接口验证码功能示例
2018/06/20 PHP
php生成短网址/短链接原理和用法实例分析
2020/05/29 PHP
许愿墙中用到的函数
2006/10/07 Javascript
Javascript 网页水印(非图片水印)实现代码
2010/03/01 Javascript
用js模拟JQuery的show与hide动画函数代码
2010/09/20 Javascript
js Dialog 去掉右上角的X关闭功能
2014/04/23 Javascript
元素未显示设置width/height时IE中使用currentStyle获取为auto
2014/05/04 Javascript
火狐下input焦点无法重复获取问题的解决方法
2014/06/16 Javascript
jQuery中val()方法用法实例
2014/12/25 Javascript
JavaScript学习小结(一)——JavaScript入门基础
2015/09/02 Javascript
jquery插件uploadify实现带进度条的文件批量上传
2015/12/13 Javascript
NodeJs——入门必看攻略
2016/06/27 NodeJs
JavaScript实现替换字符串中最后一个字符的方法
2017/03/07 Javascript
微信小程序 template模板详解及实例代码
2017/03/09 Javascript
原生JS实现网页手机音乐播放器 歌词同步播放的示例
2018/02/02 Javascript
React Native 图片查看组件的方法
2018/03/01 Javascript
JS/CSS实现字符串单词首字母大写功能
2019/09/03 Javascript
vue中使用element ui的弹窗与echarts之间的问题详解
2019/10/25 Javascript
Vue $attrs &amp; inheritAttr实现button禁用效果案例
2020/12/07 Vue.js
[00:31]2016完美“圣”典风云人物:国士无双宣传片
2016/12/04 DOTA
[38:39]KG vs Mineski 2019国际邀请赛小组赛 BO2 第一场 8.15
2019/08/16 DOTA
修改Python的pyxmpp2中的主循环使其提高性能
2015/04/24 Python
Python实现嵌套列表去重方法示例
2017/12/28 Python
python实现守护进程、守护线程、守护非守护并行
2018/05/05 Python
在PyTorch中Tensor的查找和筛选例子
2019/08/18 Python
python将时分秒转换成秒的实例
2019/12/07 Python
解决pymysql cursor.fetchall() 获取不到数据的问题
2020/05/15 Python
Python xpath表达式如何实现数据处理
2020/06/13 Python
汉米尔顿手表官网:Hamilton
2020/09/13 全球购物
教师个人自我鉴定
2014/02/08 职场文书
小学生寒假家长评语
2014/04/16 职场文书