python 用递归实现通用爬虫解析器


Posted in Python onApril 16, 2021

我们在写爬虫的过程中,除了研究反爬之外,几乎全部的时间都在写解析逻辑。那么,生命苦短,为什么我们不写一个通用解析器呢?对啊!为什么不呢?开整!

需求分析

爬虫要解析的网页类型无外乎 html、json 以及一些二进制文件(video、excel 文件等)。既然要做成通用解析器,我们有两种实现方式,一种是将网页内容转换成统一的形式,然后用对应的解析规则去解析,比如全部将网页内容转换成 html 形式,然后用 xpath 去提取。

python 用递归实现通用爬虫解析器

另外一种是配置文件预先告知的方式,你配置成什么类型,解析器就通过对应的解析规则去解析。

统一网页形式,需要做大量的网页内容形式转换,而配置文件预先告知则需要在配置时指定更多解析字段。相比较而言,通过第二种方式,未来改变较多的是配置规则,不需要动核心代码,引入 bug 的可能性较低。因此这里我们采用第二种方式实现解析器

进一步分析

解析器对于网页内容的提取,本质上和我们在本地电脑上查找和整理文件,没有什么差别。比如像下面这样

python 用递归实现通用爬虫解析器

解析内容就是从中提取我们想要的信息,然后整理成我们希望的格式。比如上面的内容,我们提取出来的形式应该是这样

{
  "design": "设计图.psd",
  "software": "sketch.dmg"
}

而在实际的爬虫开发过程中,网页形式远比以上的复杂。其实遇到最多的问题是在一组列表中嵌套一个列表,我们需要把这种形式提取出来。比如像下面这种形式

{
    "a": "a",
    "b": [
        {"c": "c1", "d": "d1"},
        {"c": "c2", "d": "d2"}]
}

他提取出信息后应该是这样

[
  {
    "a": "a",
    "c": "c1",
    "d": "d1"
  },
  {
    "a": "a",
    "c": "c2",
    "d": "d2"
  }
]

如果小伙伴对于算法熟悉的话,应该能察觉出这种遍历用递归来写是非常方便的。但要注意的是 python 会限定递归的层数,小伙伴可以通过下面这个方法查看递归限定的层数

import sys
print(sys.getrecursionlimit())

>>>1000

我这边限定的层数是 1k。对于解析网页来说完全够用了,如果哪个人把网页解析逻辑嵌套了 1000 层,我建议你直接跟老板提放弃这个网页吧!

再进一步分析

我们已经知道对于通用解析来说,就是通过配置解析规则提取页面的对应信息。而针对有列表层级的网页可能还涉及递归遍历问题。那如何去配置这种解析规则呢?其实很简单,只需要在进入每一个层级之前先指定该层的数据形式,比如下面这个原数据

{
  "a": "a",
  "b": [
          {"c": "c1", "d": "d1"},
          {"c": "c2", "d" : "d2"}
       ]
}

想提取嵌套信息,我们的解析规则就应该是这样的

[
 {
  "$name": "a",
  "$value_type": "raw",
  "$parse_method": "json",
  "$parse_rule": "a",
  "$each": []
 },
 {
  "$name": "__datas__",
  "$value_type": "recursion",
  "$parse_method": "json",
  "$parse_rule": "b",
  "$each": [
        {  
         "$name": "c",
          "$value_type": "raw",
         "$parse_method": "json",
         "$parse_rule": "c",
         "$each": []
        },
        {  
         "$name": "d",
          "$value_type": "raw",
         "$parse_method": "json",
         "$parse_rule": "d",
         "$each": []
        }
      ]
 }
]

其中 $name 字段表示我们最终希望最外层数据所拥有的字段名,当然如果是需要递归到内层的字段,则将列表保存为 __datas__ ,然后根据这个 __datas__ 进行内层结构的解析。最终我们得到的数据结构应该是这样的

[
  {"a": "a", "c": "c1", "d": "d1"}, 
  {"a": "a", "c": "c2", "d": "d2"}
]

以上我们只演示了 json 的解析规则,如果要拿来解析 html 对象呢?很简单,将解析方式改为 xpath 对象,然后传入 xpath 解析语法即可。

代码实现

总共分成两部分,一部分根据原最终结果和规则进行打包,将所有涉及 recursion 逻辑的字段进行转换,代码如下

def _pack_json(result, rules):
        item = {}

        for p_rule in rules:

            if p_rule.get("$value_type") == "raw":
                if p_rule.get("$parse_method") == "json":
                    item[p_rule.get("$name")] = glom(result, p_rule.get("$parse_rule"))

            elif p_rule.get("$value_type") == "recursion":
                if p_rule.get("$parse_method") == "json":
                    tmp_result = glom(result, p_rule.get("$parse_rule"))
                    total_result = []
                    for per_r in tmp_result:
                        total_result.append(_pack_json(per_r, p_rule.get("$each")))
                    item[p_rule.get("$name")] = total_result
        return item

另外一部分将上一步得到的进行解析,将打包得到的结果进行解包,即将所有内嵌的数据提到最外层,代码如下

def _unpack_datas(result: dict) -> list:
        if "__datas__" not in result:
            return [result]

        item_results = []
        all_item = result.pop("__datas__")

        for per_item in all_item:
            if "__datas__" in per_item:
                tmp_datas = per_item.pop("__datas__")
                for per_tmp_data in tmp_datas:
                    tmp_item = _unpack_datas(per_tmp_data)
                    for per_tmp_item in tmp_item:
                        item_results.append({**per_tmp_item, **per_item})
            else:
                item_results.append({**result, **per_item})

        return item_results

后再包一层执行入口就可以了,完整代码如下

from loguru import logger

from glom import glom


def parse(result, rules):

    def _pack_json(result, rules):
        item = {}

        for p_rule in rules:

            if p_rule.get("$value_type") == "raw":
                if p_rule.get("$parse_method") == "json":
                    item[p_rule.get("$name")] = glom(result, p_rule.get("$parse_rule"))

            elif p_rule.get("$value_type") == "recursion":
                if p_rule.get("$parse_method") == "json":
                    tmp_result = glom(result, p_rule.get("$parse_rule"))
                    total_result = []
                    for per_r in tmp_result:
                        total_result.append(_pack_json(per_r, p_rule.get("$each")))
                    item[p_rule.get("$name")] = total_result
        return item

    def _unpack_datas(result: dict) -> list:
        if "__datas__" not in result:
            return [result]

        item_results = []
        all_item = result.pop("__datas__")

        for per_item in all_item:
            if "__datas__" in per_item:
                tmp_datas = per_item.pop("__datas__")
                for per_tmp_data in tmp_datas:
                    tmp_item = _unpack_datas(per_tmp_data)
                    for per_tmp_item in tmp_item:
                        item_results.append({**per_tmp_item, **per_item})
            else:
                item_results.append({**result, **per_item})

        return item_results

    pack_result = _pack_json(result, rules)
    logger.info(pack_result)
    return _unpack_datas(pack_result)

以上,就是通用解析器的完整案例。案例中仅实现了对于 json 的支持,小伙伴可以基于自己的项目,改造成其他的解析形式。通用解析其实是鸡仔为了偷懒写的,因为鸡仔发现,在爬虫开发中,大部分工作都耗在解析这部分。而有了通用解析的前端页面,运营和数据分析师就可以根据自己的需要配置自己想爬取的站点了。人生苦短,你懂得。我去摸鱼了~

实现方式请移步至 github 查看:https://github.com/hacksman/learn_lab/blob/master/small_bug_lab/general_parser.py

以上就是python 用递归实现通用爬虫解析器的详细内容,更多关于python 递归实现爬虫解析器的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
Python数组条件过滤filter函数使用示例
Jul 22 Python
简单介绍Python2.x版本中的cmp()方法的使用
May 20 Python
12步教你理解Python装饰器
Feb 25 Python
Python常用时间操作总结【取得当前时间、时间函数、应用等】
May 11 Python
Python拼接微信好友头像大图的实现方法
Aug 01 Python
Python补齐字符串长度的实例
Nov 15 Python
浅谈Python的条件判断语句if/else语句
Mar 21 Python
Kears+Opencv实现简单人脸识别
Aug 28 Python
python装饰器代替set get方法实例
Dec 19 Python
自定义Django Form中choicefield下拉菜单选取数据库内容实例
Mar 13 Python
Python Charles抓包配置实现流程图解
Sep 29 Python
Python命令行参数argv和argparse该如何使用
Feb 08 Python
MATLAB 如何求取离散点的曲率最大值
用Python远程登陆服务器的步骤
Matlab求解数组中的最大值及它所在的具体位置
Apr 16 #Python
python 机器学习的标准化、归一化、正则化、离散化和白化
Apr 16 #Python
python中print格式化输出的问题
Apr 16 #Python
CocosCreator ScrollView优化系列之分帧加载
深度学习tensorflow基础mnist
You might like
用PHP动态生成虚拟现实VRML网页
2006/10/09 PHP
php封装的数据库函数与用法示例【参考thinkPHP】
2016/11/08 PHP
smarty模板的使用方法实例分析
2019/09/18 PHP
JS加ASP二级域名转向的代码
2007/05/17 Javascript
javascript开发中因空格引发的错误
2010/11/08 Javascript
JQUERY对单选框(radio)操作的小例子
2013/04/25 Javascript
简单的Jquery遮罩层代码实例
2013/11/14 Javascript
js简单实现根据身份证号码识别性别年龄生日
2013/11/29 Javascript
js实现类似新浪微博首页内容渐显效果的方法
2015/04/10 Javascript
JS iFrame加载慢怎么解决
2016/05/13 Javascript
Angularjs 制作购物车功能实例代码
2016/09/14 Javascript
快速解决js中window.location.href不工作的问题
2016/11/02 Javascript
EditPlus中的正则表达式 实战(2)
2016/12/15 Javascript
js Canvas绘制圆形时钟效果
2017/02/17 Javascript
Angular7中创建组件/自定义指令/管道的方法实例详解
2019/04/02 Javascript
layer iframe 设置关闭按钮的方法
2019/09/12 Javascript
解决vue的过渡动画无法正常实现问题
2019/10/31 Javascript
Python使用Paramiko模块编写脚本进行远程服务器操作
2016/05/05 Python
Python实现获取本地及远程图片大小的方法示例
2018/07/21 Python
Python判断telnet通不通的实例
2019/01/26 Python
python 字典的打印实现
2019/09/26 Python
Python 实现RSA加解密文本文件
2020/12/30 Python
python中用ggplot绘制画图实例讲解
2021/01/26 Python
HTML5 Convas APIs方法详解
2015/04/24 HTML / CSS
html5视频常用API接口的实战示例
2020/03/20 HTML / CSS
美国波道夫·古德曼百货官网:Bergdorf Goodman
2017/11/07 全球购物
Napapijri西班牙在线商店:夹克、外套、运动衫等
2020/11/05 全球购物
俄罗斯电动工具和设备购物网站:Vseinstrumenti.ru
2020/11/12 全球购物
学生个人求职自荐信格式
2013/09/23 职场文书
大学自我鉴定范文
2013/12/26 职场文书
廉洁自律承诺书2015
2015/01/22 职场文书
团员自我评价范文
2015/03/10 职场文书
公司人事管理制度
2015/08/05 职场文书
python flask开发的简单基金查询工具
2021/06/02 Python
Redis RDB技术底层原理详解
2021/09/04 Redis
使用Nginx搭载rtmp直播服务器的方法
2021/10/16 Servers