Python实现JSON反序列化类对象的示例


Posted in Python onJanuary 31, 2018

我们的网络协议一般是把数据转换成JSON之后再传输。之前在Java里面,实现序列化和反序列化,不管是 jackson ,还是 fastjson 都非常的简单。现在有项目需要用Python来开发,很自然的希望这样的便利也能在Python中体现。

但是在网上看了一些教程,讲反序列化的时候,基本都是转换为 dict 或者 array 。这种编程方式我从情感上是无法接受的。难道是这些JSON库都不支持反序列化为类对象?我马上打消了这个念头,Python这样强大的脚本语言,不可能没有完善的JSON库。

于是我就研究了一下原生的 json ,以及第三方的 demjson 和 simplejson 。

一、原生json

我仔细研究了原生 json 的 loads 方法的定义

def loads(s, encoding=None, cls=None, object_hook=None, parse_float=None, parse_int=None, parse_constant=None, object_pairs_hook=None, **kw)

这里面的 object_hook 和 object_pairs_hook 参数引起了我的注意,我重点说一下 object_hook 。

官方文档的说明如下:

object_hook is an optional function that will be called with the result of any object literal decoded (a dict). The return value of object_hook will be used instead of the dict. This feature can be used to implement custom decoders (e.g. JSON-RPC class hinting).

这个 object_hook 根据文档的解释就是一个自定义解码函数,入参数标准反序列化后的dict,我们可以根据自己的规则转换输出为想要的格式。

我又去搜了一下 object_hook ,大家对于这个东西的处理方式基本就是用一个静态方法把dict转换成对象。

我们的数据结构是这样的

{"status":1,"info":"发布成功","data":{"id":"52","feed_id":"70"}}

于是我就写了这样的代码:

class Response:

  def __init__(self, status, info, data) -> None:
    super().__init__()
    self.status = status
    self.info = info
    self.data = data

  @staticmethod
  def object_hook(d):
    return Response(d['status'], d['info'], d['data'])
 ...
resp = json.loads(body, object_hook=Response.object_hook)

一开始呢,确实没有问题,虽然用起来没有java的json库辣么方便,但总归实现了需求。

好景不长,我测试的第一个接口返回的数据中, data 是字段一个字符串,反序列化正常。可是后来当接口返回的结构中 data 字段是一个dict结构的时候, object_hook 的入参居然变成了 data 字段转换之后的dict( {"id":"52","feed_id":"70"} ),而不是完整的数据。

这些懵逼了,上网搜索了一圈没有结论。于是上网搜了一圈,也没有结论。 好吧,我最后又回到官方文档, read the fucking official document 。

不看不知道,一看吓一跳,官方文档用了一种巧妙的方式实现了上面的需求。

>>> class JSONObject:
...   def __init__(self, d):
...     self.__dict__ = d
...
>>>
>>> data = json.loads(s, object_hook=JSONObject)
>>> data.name
'ACME'
>>> data.shares
50
>>> data.price
490.1
>>>

我服了,把json解析之后的dict直接赋值给对象的属性dict,然后就可以随心所欲的使用属性了,真心方便,动态语言就是好。

以上是官方的json库实现方案,那另外两个知名的第三方库呢?

二、demjson

demjson 也支持 hook 。有两种配置的方式: decode 函数配置和 set_hook 函数配置

1. decode

def decode( txt, encoding=None, **kwargs )

decode 函数可以指定很多参数,其中就包括 hook 函数。 hook 函数的指定是使用键值对的方式,键是 hook 函数的名称,值是 hook 函数。

demjson是通过名字来管理hook函数的,所以hookname不是随便指定的,必须是内置的几种hook函数的名称。

  1. decode_number
  2. decode_float
  3. decode_object
  4. decode_array
  5. decode_string
  6. encode_value
  7. encode_dict
  8. encode_dict_key
  9. encode_sequence
  10. encode_bytes
  11. encode_default
demjson.decode(body, encode='utf-8',decode_obbject=Reponse.object_hook)

结果并没有让我很开森,依然是无法处理嵌套结构。 日志中显示如下内容:

2018-01-30 16:01:17,137 poster.py post_all 73 INFO    : {"status":1,"info":"\u53d1\u5e03\u6210\u529f","data":{"id":"54","feed_id":"72"}}
2018-01-30 16:01:17,138 response.py object_hook 13 INFO    : {'id': '54', 'feed_id': '72'}
2018-01-30 16:01:17,138 response.py object_hook 13 INFO    : {'status': 1, 'info': '发布成功', 'data': demjson.undefined}

很奇怪的是 object_hook 函数被调用了两次,第一次是 data 字段的内容,第二是全部的内容,但是 data 字段没有解析出来。 非常奇怪,百思不得其解!!!

2. set_hook

set_hook 函数跟上面的 decode 函数不一样,它是 JSON 类的成员函数,而 decode 函数是个静态函数。

def set_hook(self, hookname, function)

吸取之前的教训,这次我仔细阅读了demjson的文档,还真发现点东西。

Netsted values. When decoding JSON that has nested objects or arrays, the decoding hooks will be called once for every corresponding value, even if nested. Generally the decoding hooks will be called from the inner-most value outward, and then left to right.

这里重点说到嵌套的问题,出现嵌套的时候,每个对应的类型都会调用 hook 函数一次,而且是从最内层,从左往右。好吧,之前出现的问题全部明白了,原来都是这个规则惹的祸,但是为什么这样设计我暂时还是不明白。

set_hook 的使用方式

j = demjson.JSON()
  j.set_hook( 'decode_array', my_sort_array )
  j.decode(body, encode='utf-8')

三、simplejson

前面说了那么多, simplejson 的方式就没什么可说的,跟官方的 json 库 hook 方式一致。

总结

虽然我的需求是满足了,但是还是有一个大大的问号留在我心中,为什么是这样设计,网上没有找到合适的答案,剩下的需要研究源代码分析了。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
给Python的Django框架下搭建的BLOG添加RSS功能的教程
Apr 08 Python
Python基于scrapy采集数据时使用代理服务器的方法
Apr 16 Python
Pthon批量处理将pdb文件生成dssp文件
Jun 21 Python
详解C++编程中一元运算符的重载
Jan 19 Python
pygame游戏之旅 添加键盘按键的方法
Nov 20 Python
python批量从es取数据的方法(文档数超过10000)
Dec 27 Python
python实现感知器算法(批处理)
Jan 18 Python
Python使用reportlab模块生成PDF格式的文档
Mar 11 Python
python3发送request请求及查看返回结果实例
Apr 30 Python
Python 捕获代码中所有异常的方法
Aug 03 Python
mac系统下安装pycharm、永久激活、中文汉化详细教程
Nov 24 Python
详解python网络进程
Jun 15 Python
python删除过期log文件操作实例解析
Jan 31 #Python
Python实现的井字棋(Tic Tac Toe)游戏示例
Jan 31 #Python
使用Python制作微信跳一跳辅助
Jan 31 #Python
python模块之paramiko实例代码
Jan 31 #Python
Python进度条实时显示处理进度的示例代码
Jan 30 #Python
Python3生成手写体数字方法
Jan 30 #Python
python字符串的方法与操作大全
Jan 30 #Python
You might like
收听短波不可能有声音清晰的品质吗
2021/03/01 无线电
php strlen mb_strlen计算中英文混排字符串长度
2009/07/10 PHP
php实现算术验证码功能
2018/12/05 PHP
一个可以显示阴历的JS代码
2007/03/05 Javascript
javascript高级程序设计第二版第十二章事件要点总结(常用的跨浏览器检测方法)
2012/08/22 Javascript
关于js遍历表格的实例
2013/07/10 Javascript
JQuery仿小米手机抢购页面倒计时效果
2014/12/16 Javascript
jQuery网页版打砖块小游戏源码分享
2015/08/20 Javascript
javascript伸缩型菜单实现代码
2015/11/16 Javascript
JavaScript与jQuery实现的闪烁输入效果
2016/02/18 Javascript
JQuery实现简单的服务器轮询效果实例
2016/03/31 Javascript
Vue数据驱动模拟实现1
2017/01/11 Javascript
原生javascript实现的全屏滚动功能示例
2017/09/19 Javascript
详解js根据百度地图提供经纬度计算两点距离
2019/05/13 Javascript
vue-mugen-scroll组件实现pc端滚动刷新
2019/08/16 Javascript
解决vue打包后刷新页面报错:Unexpected token
2019/08/27 Javascript
vue中上传视频或图片或图片和文字一起到后端的解决方法
2019/12/01 Javascript
JavaScript中EventBus实现对象之间通信
2020/10/18 Javascript
[28:57]EG vs VGJ.T 2018国际邀请赛小组赛BO2 第二场 8.16
2018/08/16 DOTA
使用FastCGI部署Python的Django应用的教程
2015/07/22 Python
python写程序统计词频的方法
2019/07/29 Python
解决安装python3.7.4报错Can''t connect to HTTPS URL because the SSL module is not available
2019/07/31 Python
Python中的self用法详解
2019/08/06 Python
Tensorflow 实现释放内存
2020/02/03 Python
python collections模块的使用
2020/10/16 Python
Python实现一个论文下载器的过程
2021/01/18 Python
html5组织内容_动力节点Java学院整理
2017/07/10 HTML / CSS
可能这些是你想要的H5软键盘兼容方案(小结)
2019/04/23 HTML / CSS
实习期自我鉴定
2013/10/11 职场文书
会计自我鉴定
2013/11/02 职场文书
公司年底活动方案
2014/08/17 职场文书
音乐教师个人工作总结
2015/02/06 职场文书
2015年学校心理健康教育工作总结
2015/05/11 职场文书
2015年教师见习期工作总结
2015/05/20 职场文书
警示教育片观后感
2015/06/17 职场文书
2015年卫生局工作总结
2015/07/24 职场文书