Python使用protobuf序列化和反序列化的实现


Posted in Python onMay 19, 2021

protobuf介绍

protobuf是一种二进制的序列化格式,相对于json来说体积更小,传输更快。

安装protobuf

安装protobuf的目的主要用来将proto文件编译成python、c、Java可调用的接口。

# 如果gcc版本较低,需要升级gcc
wget https://main.qcloudimg.com/raw/d7810aaf8b3073fbbc9d4049c21532aa/protobuf-2.6.1.tar.gz
tar -zxvf protobuf-2.6.1.tar.gz -C /usr/local/ && cd /usr/local/protobuf-2.6.1
./configure 
make && make install
# 可以在/etc/profile或者~/.bash_profile末尾设置永久有效
export PATH=$PATH:/usr/local/protobuf-2.6.1/bin

使用下面命令查看是否安装成功。

[root@CodeOnTheRoad ~]# protoc --version
libprotoc 2.6.1

构建python接口

创建cls.proto文件,定义序列化结构:

package cls;

message Log
{
    message Content
    {
        required string key   = 1; // 每组字段的 key
        required string value = 2; // 每组字段的 value
    }
    required int64   time     = 1; // 时间戳,UNIX时间格式
    repeated Content contents = 2; // 一条日志里的多个kv组合
}

message LogTag
{
    required string key       = 1;
    required string value     = 2;
}

message LogGroup
{
    repeated Log    logs        = 1; // 多条日志合成的日志数组
    optional string contextFlow = 2; // 目前暂无效用
    optional string filename    = 3; // 日志文件名
    optional string source      = 4; // 日志来源,一般使用机器IP
    repeated LogTag logTags     = 5;
}

message LogGroupList
{
    repeated LogGroup logGroupList = 1; // 日志组列表
}

只用下面命令将proto文件转换为python可调用的接口。

protoc cls.proto --python_out=./

执行完后,在此目录下生成cls_pb2.py。

序列化

import cls_pb2 as cls
import time

# 构建protoBuf日志内容
LogLogGroupList = cls.LogGroupList()

LogGroup = LogLogGroupList.logGroupList.add()
LogGroup.contextFlow = "1"
LogGroup.filename = "python.log"
LogGroup.source = "localhost"

LogTag = LogGroup.logTags.add()
LogTag.key = "key"
LogTag.value = "value"

Log = LogGroup.logs.add()
Log.time = int(round(time.time() * 1000000))

Content = Log.contents.add()
Content.key = "Hello"
Content.value = "World"
print(LogLogGroupList)
# 序列化
data = LogLogGroupList.SerializeToString()
print(data)

其实就是讲一个protobuf的结构文本序列化成了二进制的形式。

反序列化

反序列化就是将二进制转换成protobuf结构。

# 反序列化
LogLogGroupList = cls.LogGroupList()
LogLogGroupList.ParseFromString(data)
print(LogLogGroupList)

运行结果

上面序列化和反序列化代码结果运行如下:

Python使用protobuf序列化和反序列化的实现

到此这篇关于Python使用protobuf序列化和反序列化的实现的文章就介绍到这了,更多相关Python 序列化和反序列化内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
Python网站验证码识别
Jan 25 Python
python中urlparse模块介绍与使用示例
Nov 19 Python
Python3实现购物车功能
Apr 18 Python
Python3利用Dlib19.7实现摄像头人脸识别的方法
May 11 Python
如何在django里上传csv文件并进行入库处理的方法
Jan 02 Python
详解python做UI界面的方法
Feb 27 Python
pytorch 数据处理:定义自己的数据集合实例
Dec 31 Python
python:目标检测模型预测准确度计算方式(基于IoU)
Jan 18 Python
python 实现朴素贝叶斯算法的示例
Sep 30 Python
python递归函数用法详解
Oct 26 Python
Django2.1.7 查询数据返回json格式的实现
Dec 29 Python
Python接口自动化系列之unittest结合ddt的使用教程详解
Feb 23 Python
详解分布式系统中如何用python实现Paxos
May 18 #Python
如何在向量化NumPy数组上进行移动窗口
Python如何配置环境变量详解
Python打包为exe详细教程
Python基础之数据类型知识汇总
May 18 #Python
Python实战之疫苗研发情况可视化
Python打包exe时各种异常处理方案总结
You might like
PHP iconv 解决utf-8和gb2312编码转换问题
2010/04/12 PHP
在项目中寻找代码的坏命名
2012/07/14 PHP
使用PHP实现蜘蛛访问日志统计
2013/07/05 PHP
PHP生成图片验证码、点击切换实例
2014/06/25 PHP
PHP SOCKET编程详解
2015/05/22 PHP
PHP将URL转换成短网址的算法分享
2016/09/13 PHP
php实现购物车功能(以大苹果购物网为例)
2017/03/09 PHP
jQuery学习笔记 更改jQuery对象
2012/09/19 Javascript
Extjs中ComboBoxTree实现的下拉框树效果(自写)
2013/05/28 Javascript
jQuery中click事件的定义和用法
2014/12/20 Javascript
使用three.js 画渐变的直线
2016/06/05 Javascript
多种jQuery绑定事件的实现方式
2016/06/13 Javascript
js制作简单的音乐播放器的示例代码
2017/08/28 Javascript
VUE基于NUXT的SSR 服务端渲染
2018/11/30 Javascript
JS中min函数实例讲解
2019/02/18 Javascript
layui关闭弹窗后刷新主页面和当前更改项的例子
2019/09/06 Javascript
微信小程序开发数据缓存基础知识辨析及运用实例详解
2020/11/06 Javascript
详解vite+ts快速搭建vue3项目以及介绍相关特性
2021/02/25 Vue.js
python 判断自定义对象类型
2009/03/21 Python
Python HTMLParser模块解析html获取url实例
2015/04/08 Python
利用Python脚本在Nginx和uwsgi上部署MoinMoin的教程
2015/05/05 Python
Python中使用装饰器时需要注意的一些问题
2015/05/11 Python
使用Python对Access读写操作
2017/03/30 Python
python smtplib模块自动收发邮件功能(一)
2018/05/22 Python
Python UnboundLocalError和NameError错误根源案例解析
2018/10/31 Python
Python开启线程,在函数中开线程的实例
2019/02/22 Python
迟到检讨书900字
2014/01/14 职场文书
2015年采购工作总结
2015/04/10 职场文书
2015年工程部工作总结
2015/04/30 职场文书
正规欠条模板
2015/07/03 职场文书
2019年房屋委托租赁合同范本(通用版)!
2019/07/17 职场文书
在校大学生才艺比赛策划书怎么写?
2019/08/26 职场文书
祝福语集锦:朋友新店开业祝福语
2019/12/10 职场文书
python基础之停用词过滤详解
2021/04/21 Python
Jupyter notebook 输出部分显示不全的解决方案
2021/04/24 Python
MySQL不使用order by实现排名的三种思路总结
2021/06/02 MySQL