python爬虫破解字体加密案例详解


Posted in Python onMarch 02, 2021

本次案例以爬取起小点小说为例

案例目的:

通过爬取起小点小说月票榜的名称和月票数,介绍如何破解字体加密的反爬,将加密的数据转化成明文数据。

程序功能:

输入要爬取的页数,得到每一页对应的小说名称和月票数。

案例分析: 找到目标的url:

python爬虫破解字体加密案例详解

(右键检查)找到小说名称所在的位置:

python爬虫破解字体加密案例详解

通过名称所在的节点位置,找到小说名称的xpath语法:

python爬虫破解字体加密案例详解

(右键检查)找到月票数所在的位置:

python爬虫破解字体加密案例详解

由上图发现,检查月票数据的文本,得到一串加密数据。

我们通过xpathhelper进行调试发现,无法找到加密数据的语法。因此,需要通过正则表达式进行提取。

通过正则进行数据提取。

python爬虫破解字体加密案例详解

正则表达式如下:

python爬虫破解字体加密案例详解

得到的加密数据如下:

python爬虫破解字体加密案例详解

破解加密数据是本次案例的关键:

既然是加密数据,就会有加密数据所对应的加密规则的Font文件。
通过找到Font字体文件中数据加密文件的url,发送请求,获取响应,得到加密数据的woff文件。

注:我们需要的woff文件,名称与加密月票数前面的class属性相同。

python爬虫破解字体加密案例详解

如下图,下载woff文件:

找到16进制的数字对应的英文数字。

python爬虫破解字体加密案例详解

其次,我们需要通过第三方库TTFont将文件中的16进制数转换成10进制,将英文数字转换成阿拉伯数字。如下图:

python爬虫破解字体加密案例详解

解析出每个加密数据对应的对应的月票数的数字如下:

python爬虫破解字体加密案例详解

注意:

由于我们在上面通过正则表式获得的加密数据携带特殊符号

python爬虫破解字体加密案例详解

因此解析出月票数据中的数字之后,除了将特殊符号去除,还需把每个数字进行拼接,得到最后的票数。

最后,通过对比不同页的url,找到翻页的规律:

python爬虫破解字体加密案例详解
python爬虫破解字体加密案例详解
python爬虫破解字体加密案例详解

对比三个不同url发现,翻页的规律在于参数page

所以问题分析完毕,开始代码:

import requests
from lxml import etree
import re
from fontTools.ttLib import TTFont
import json

if __name__ == '__main__':
  # 输入爬取的页数、
  pages = int(input('请输入要爬取的页数:')) # eg:pages=1,2
  for i in range(pages): # i=0,(0,1)
    page = i+1  # 1,(1,2)
    # 确认目标的url
    url_ = f'https://www.qidian.com/rank/yuepiao?page={page}'
    # 构造请求头参数
    headers = {
      'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.150 Safari/537.36'
    }
    # 发送请求,获取响应
    response_ = requests.get(url_,headers=headers)
    # 响应类型为html问文本
    str_data = response_.text
    # 将html文本转换成python文件
    py_data = etree.HTML(str_data)
    # 提取文本中的目标数据
    title_list = py_data.xpath('//h4/a[@target="_blank"]/text() ')
    # 提取月票数,由于利用xpath语法无法提取,因此换用正则表达式,正则提取的目标为response_.text
    mon_list = re.findall('</style><span class=".*?">(.*?)</span></span>',str_data)
    print(mon_list)
    # 获取字体反爬woff文件对应的url,xpath配合正则使用
    fonturl_str = py_data.xpath('//p/span/style/text()')
    font_url = re.findall(r"format\('eot'\); src: url\('(.*?)'\) format\('woff'\)",str_data)[0]
    print(font_url)
    # 获得url之后,构造请求头获取响应
    headers_ = {
      'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.150 Safari/537.36',
      'Referer':'https://www.qidian.com/'
    }
    # 发送请求,获取响应
    font_response = requests.get(font_url,headers=headers_)
    # 文件类型未知,因此用使用content格式
    font_data = font_response.content
    # 保存到本地
    with open('加密font文件.woff','wb')as f:
      f.write(font_data)
    # 解析加密的font文件
    font_obj = TTFont('加密font文件.woff')
    # 将文件转成明文的xml文件
    font_obj.saveXML('加密font文件.xml')
    # 获取字体加密的关系映射表,将16进制转换成10进制
    cmap_list = font_obj.getBestCmap()
    print('字体加密关系映射表:',cmap_list)
    # 创建英文转英文的字典
    dict_e_a = {'one':'1','two':'2','three':'3','four':'4','five':'5','six':'6',
          'seven':'7','eight':'8','nine':'9','zero':'0'}
    # 将英文数据进行转换
    for i in cmap_list:
      for j in dict_e_a:
        if j == cmap_list[i]:
          cmap_list[i] = dict_e_a[j]
    print('转换为阿拉伯数字的映射表为:',cmap_list)
    # 去掉加密的月票数据列表中的符号
    new_mon_list = []
    for i in mon_list:
      list_ = re.findall(r'\d+',i)
      new_mon_list.append(list_)
    print('去掉符号之后的月票数据列表为:',new_mon_list)
    # 最终解析月票数据
    for i in new_mon_list:
      for j in enumerate(i):
        for k in cmap_list:
          if j[1] == str(k):
            i[j[0]] = cmap_list[k]
    print('解析之后的月票数据为:',new_mon_list)
    # 将月票数据进行拼接
    new_list = []
    for i in new_mon_list:
      j = ''.join(i)
      new_list.append(j)
    print('解析出的明文数据为:',new_list)
    # 将名称和对应的月票数据放进字典,并转换成json格式及进行保存
    for i in range(len(title_list)):
      dict_ = {}
      dict_[title_list[i]] = new_list[i]
      # 将字典转换成json格式
      json_data = json.dumps(dict_,ensure_ascii=False)+',\n'
      # 将数据保存到本地
      with open('翻页起小点月票榜数据爬取.json','a',encoding='utf-8')as f:
        f.write(json_data)

爬取了两页的数据,每一页包含20个数据

执行结果如下:

python爬虫破解字体加密案例详解

到此这篇关于python爬虫破解字体加密案例详解的文章就介绍到这了,更多相关python爬虫破解字体加密内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
python爬虫入门教程之点点美女图片爬虫代码分享
Sep 02 Python
Python+Selenium自动化实现分页(pagination)处理
Mar 31 Python
解决python爬虫中有中文的url问题
May 11 Python
python3解析库lxml的安装与基本使用
Jun 27 Python
使用11行Python代码盗取了室友的U盘内容
Oct 23 Python
Python找出微信上删除你好友的人脚本写法
Nov 01 Python
python得到一个excel的全部sheet标签值方法
Dec 10 Python
python实现二维插值的三维显示
Dec 17 Python
代码实例讲解python3的编码问题
Jul 08 Python
Matplotlib scatter绘制散点图的方法实现
Jan 02 Python
使用PyWeChatSpy自动回复微信拍一拍功能的实现代码
Jul 02 Python
python中reload重载实例用法
Dec 15 Python
python包的导入方式总结
Mar 02 #Python
numpy实现RNN原理实现
Mar 02 #Python
解决tensorflow模型压缩的问题_踩坑无数,总算搞定
Mar 02 #Python
python Protobuf定义消息类型知识点讲解
Mar 02 #Python
Django项目在pycharm新建的步骤方法
Mar 02 #Python
基于注解实现 SpringBoot 接口防刷的方法
Mar 02 #Python
python Autopep8实现按PEP8风格自动排版Python代码
Mar 02 #Python
You might like
php基本函数汇总
2015/07/09 PHP
php实现无限级分类查询(递归、非递归)
2016/03/10 PHP
php处理带有中文URL的方法
2016/07/11 PHP
Yii输入正确验证码却验证失败的解决方法
2017/06/06 PHP
利用laravel+ajax实现文件上传功能方法示例
2017/08/13 PHP
JavaScript 异步方法队列链实现代码分析
2010/06/05 Javascript
XENON基于JSON变种
2010/07/27 Javascript
jQuery表单验证插件formValidator(改进版)
2012/02/03 Javascript
JS 获取select(多选下拉)中所选值的示例代码
2013/08/02 Javascript
JavaScript函数作用域链分析
2015/02/13 Javascript
jQuery焦点图轮播特效代码分享(3款)
2015/09/05 Javascript
javascript css红色经典选项卡效果实现代码
2016/05/17 Javascript
Angularjs使用directive自定义指令实现attribute继承的方法详解
2016/08/05 Javascript
webpack学习笔记之优化缓存、合并、懒加载
2017/08/24 Javascript
浅谈使用React.setState需要注意的三点
2017/12/18 Javascript
浅谈JavaScript面向对象--继承
2019/03/20 Javascript
nuxt配置通过指定IP和端口访问的实现
2020/01/08 Javascript
Js Snowflake(雪花算法)生成随机ID的实现方法
2020/08/26 Javascript
vue+vant实现购物车全选和反选功能
2020/11/17 Vue.js
Python使用openpyxl读写excel文件的方法
2017/06/30 Python
python+opencv实现动态物体识别
2018/01/09 Python
python实现在IDLE中输入多行的方法
2018/04/19 Python
对pandas中iloc,loc取数据差别及按条件取值的方法详解
2018/11/06 Python
Python 数值区间处理_对interval 库的快速入门详解
2018/11/16 Python
python paramiko利用sftp上传目录到远程的实例
2019/01/03 Python
Python OpenCV对本地视频文件进行分帧保存的实例
2019/01/08 Python
Python实现的爬取豆瓣电影信息功能案例
2019/09/15 Python
Python交互环境下打印和输入函数的实例内容
2020/02/16 Python
Django 404、500页面全局配置知识点详解
2020/03/10 Python
如何用css3实现switch组件开关的方法
2018/02/09 HTML / CSS
匡威英国官网:Converse英国
2018/12/02 全球购物
吉力贝官方网站:Jelly Belly
2019/03/11 全球购物
怎么样写好简历中的自我评价
2013/10/25 职场文书
婚前保证书范文
2015/02/28 职场文书
Django展示可视化图表的多种方式
2021/04/08 Python
Vue.js中v-bind指令的用法介绍
2022/03/13 Vue.js