Python使用protobuf序列化和反序列化的实现


Posted in Python onMay 19, 2021

protobuf介绍

protobuf是一种二进制的序列化格式,相对于json来说体积更小,传输更快。

安装protobuf

安装protobuf的目的主要用来将proto文件编译成python、c、Java可调用的接口。

# 如果gcc版本较低,需要升级gcc
wget https://main.qcloudimg.com/raw/d7810aaf8b3073fbbc9d4049c21532aa/protobuf-2.6.1.tar.gz
tar -zxvf protobuf-2.6.1.tar.gz -C /usr/local/ && cd /usr/local/protobuf-2.6.1
./configure 
make && make install
# 可以在/etc/profile或者~/.bash_profile末尾设置永久有效
export PATH=$PATH:/usr/local/protobuf-2.6.1/bin

使用下面命令查看是否安装成功。

[root@CodeOnTheRoad ~]# protoc --version
libprotoc 2.6.1

构建python接口

创建cls.proto文件,定义序列化结构:

package cls;

message Log
{
    message Content
    {
        required string key   = 1; // 每组字段的 key
        required string value = 2; // 每组字段的 value
    }
    required int64   time     = 1; // 时间戳,UNIX时间格式
    repeated Content contents = 2; // 一条日志里的多个kv组合
}

message LogTag
{
    required string key       = 1;
    required string value     = 2;
}

message LogGroup
{
    repeated Log    logs        = 1; // 多条日志合成的日志数组
    optional string contextFlow = 2; // 目前暂无效用
    optional string filename    = 3; // 日志文件名
    optional string source      = 4; // 日志来源,一般使用机器IP
    repeated LogTag logTags     = 5;
}

message LogGroupList
{
    repeated LogGroup logGroupList = 1; // 日志组列表
}

只用下面命令将proto文件转换为python可调用的接口。

protoc cls.proto --python_out=./

执行完后,在此目录下生成cls_pb2.py。

序列化

import cls_pb2 as cls
import time

# 构建protoBuf日志内容
LogLogGroupList = cls.LogGroupList()

LogGroup = LogLogGroupList.logGroupList.add()
LogGroup.contextFlow = "1"
LogGroup.filename = "python.log"
LogGroup.source = "localhost"

LogTag = LogGroup.logTags.add()
LogTag.key = "key"
LogTag.value = "value"

Log = LogGroup.logs.add()
Log.time = int(round(time.time() * 1000000))

Content = Log.contents.add()
Content.key = "Hello"
Content.value = "World"
print(LogLogGroupList)
# 序列化
data = LogLogGroupList.SerializeToString()
print(data)

其实就是讲一个protobuf的结构文本序列化成了二进制的形式。

反序列化

反序列化就是将二进制转换成protobuf结构。

# 反序列化
LogLogGroupList = cls.LogGroupList()
LogLogGroupList.ParseFromString(data)
print(LogLogGroupList)

运行结果

上面序列化和反序列化代码结果运行如下:

Python使用protobuf序列化和反序列化的实现

到此这篇关于Python使用protobuf序列化和反序列化的实现的文章就介绍到这了,更多相关Python 序列化和反序列化内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
Python学习笔记之os模块使用总结
Nov 03 Python
Django静态资源URL STATIC_ROOT的配置方法
Nov 08 Python
Python列表计数及插入实例
Dec 17 Python
Python的自动化部署模块Fabric的安装及使用指南
Jan 19 Python
Python列出一个文件夹及其子目录的所有文件
Jun 30 Python
Python中super函数的用法
Nov 17 Python
Python将json文件写入ES数据库的方法
Apr 10 Python
Python opencv实现人眼/人脸识别以及实时打码处理
Apr 29 Python
python进程和线程用法知识点总结
May 28 Python
Python面向对象之Web静态服务器
Sep 03 Python
Python类及获取对象属性方法解析
Jun 15 Python
想学画画?python满足你!
Dec 24 Python
详解分布式系统中如何用python实现Paxos
May 18 #Python
如何在向量化NumPy数组上进行移动窗口
Python如何配置环境变量详解
Python打包为exe详细教程
Python基础之数据类型知识汇总
May 18 #Python
Python实战之疫苗研发情况可视化
Python打包exe时各种异常处理方案总结
You might like
Smarty中调用FCKeditor的方法
2014/10/27 PHP
php使用CURL不依赖COOKIEJAR获取COOKIE的方法
2015/06/17 PHP
PHP排序算法之基数排序(Radix Sort)实例详解
2018/04/21 PHP
JavaScript 存在陷阱 删除某一区域所有节点
2010/05/10 Javascript
基于jquery实现的可以编辑选择的下拉框的代码
2010/11/19 Javascript
javascript中如何处理引号编码"
2013/08/15 Javascript
没有document.getElementByName方法
2013/08/19 Javascript
2种jQuery 实现刮刮卡效果
2015/02/01 Javascript
在JavaScript中访问字符串的子串
2015/07/07 Javascript
给before和after伪元素设置js效果的方法
2015/12/04 Javascript
Javascript缓存API
2016/06/14 Javascript
浅谈js中的变量名和函数名重名
2017/02/13 Javascript
使用express搭建一个简单的查询服务器的方法
2018/02/09 Javascript
Spring Boot/VUE中路由传递参数的实现代码
2018/03/02 Javascript
webstorm中vue语法的支持详解
2018/05/09 Javascript
jQuery实现鼠标移到某个对象时弹出显示层功能
2018/08/23 jQuery
浅谈vuex actions和mutation的异曲同工
2018/12/13 Javascript
vuejs+element UI table表格中实现禁用部分复选框的方法
2019/09/20 Javascript
vue学习之Vue-Router用法实例分析
2020/01/06 Javascript
[00:39]DOTA2上海特级锦标赛 Liquid战队宣传片
2016/03/04 DOTA
Python中用PIL库批量给图片加上序号的教程
2015/05/06 Python
Python3中的列表生成式、生成器与迭代器实例详解
2018/06/11 Python
python 读取目录下csv文件并绘制曲线v111的方法
2018/07/06 Python
通过pykafka接收Kafka消息队列的方法
2018/12/27 Python
Python3 JSON编码解码方法详解
2019/09/06 Python
Python3如何实现Win10桌面自动切换
2020/08/11 Python
心理健康教育制度
2014/01/27 职场文书
艾滋病宣传活动总结
2014/05/08 职场文书
老干部工作先进集体事迹材料
2014/05/21 职场文书
信访工作个人总结
2015/03/03 职场文书
驻村工作简报
2015/07/20 职场文书
领导干部学习十八届五中全会精神心得体会
2016/01/05 职场文书
全国劳模先进事迹材料(2016精选版)
2016/02/25 职场文书
深入浅出的讲解:信号调制到底是如何实现的
2022/02/18 无线电
vue @ ~ 相对路径 路径别名设置方式
2022/06/05 Vue.js
mysql sock 文件解析及作用讲解
2022/07/15 MySQL