Python使用struct处理二进制(pack和unpack用法)


Posted in Python onNovember 12, 2020

有的时候需要用python处理二进制数据,比如,存取文件,socket操作时.这时候,可以使用python的struct模块来完成.可以用 struct来处理c语言中的结构体.

struct模块中最重要的三个函数是pack(), unpack(), calcsize()

# 按照给定的格式(fmt),把数据封装成字符串(实际上是类似于c结构体的字节流)
pack(fmt, v1, v2, ...) 
 
# 按照给定的格式(fmt)解析字节流string,返回解析出来的tuple
unpack(fmt, string)  
 
# 计算给定的格式(fmt)占用多少字节的内存
calcsize(fmt)

上述fmt中,支持的格式为:

FORMAT C TYPE PYTHON TYPE STANDARD SIZE NOTES
x pad byte no value - -
c char string of length 1 1 -
b signed char integer 1 (3)
B unsigned char integer 1 (3)
? _Bool bool 1 (1)
h short integer 2 (3)
H unsigned short integer 2 (3)
i int integer 4 (3)
I unsigned int integer 4 (3)
l long integer 4 (3) -
L unsigned long integer 4 (3)
q long long integer 8 (2), (3)
Q unsigned long long integer 8 (2), (3)
f float float 4 (4)
d double float 8 (4)
s char[] string - -
p char[] string - -
P void * integer - (5), (3)

使用方法是放在fmt的第一个位置,就像'@5s6sif'

例子1:

结构体如下:

struct Header
{
 unsigned short id;
 char[4] tag;
 unsigned int version;
 unsigned int count;
}

通过socket.recv接收到了一个上面的结构体数据,存在字符串s中,现在需要把它解析出来,可以使用unpack()函数:

import struct
id, tag, version, count = struct.unpack("!H4s2I", s)

上面的格式字符串中,!表示我们要使用网络字节顺序解析,因为我们的数据是从网络中接收到的,在网络上传送的时候它是网络字节顺序的.后面的H表示 一个unsigned short的id,4s表示4字节长的字符串,2I表示有两个unsigned int类型的数据.

就通过一个unpack,现在id, tag, version, count里已经保存好我们的信息了.

同样,也可以很方便的把本地数据再pack成struct格式:

ss = struct.pack("!H4s2I", id, tag, version, count);

pack函数就把id, tag, version, count按照指定的格式转换成了结构体Header,ss现在是一个字符串(实际上是类似于c结构体的字节流),可以通过 socket.send(ss)把这个字符串发送出去。

例子2:

import struct
 
a=12.34

# 将a变为二进制
bytes=struct.pack('i',a)

此时bytes就是一个string字符串,字符串按字节同a的二进制存储内容相同。

再进行反操作,现有二进制数据bytes,(其实就是字符串),将它反过来转换成python的数据类型:

# 注意,unpack返回的是tuple !!
a,=struct.unpack('i',bytes)

如果是由多个数据构成的,可以这样:

a='hello'
b='world!'
c=2
d=45.123

bytes=struct.pack('5s6sif',a,b,c,d)
此时的bytes就是二进制形式的数据了,可以直接写入文件比如 binfile.write(bytes)

然后,当我们需要时可以再读出来,bytes=binfile.read()

再通过struct.unpack()解码成python变量:

a,b,c,d=struct.unpack('5s6sif',bytes)

'5s6sif'这个叫做fmt,就是格式化字符串,由数字加字符构成,5s表示占5个字符的字符串,2i,表示2个整数等等,下面是可用的字符及类型,ctype表示可以与python中的类型一一对应。

注意:二进制文件处理时会碰到的问题

我们使用处理二进制文件时,需要用如下方法:

binfile=open(filepath,'rb')  #读二进制文件
 
binfile=open(filepath,'wb') #写二进制文件

那么和binfile=open(filepath,'r')的结果到底有何不同呢?

不同之处有两个地方:

第一,使用'r'的时候如果碰到'0x1A',就会视为文件结束,这就是EOF。使用'rb'则不存在这个问题。即,如果你用二进制写入再用文本读出的话,如果其中存在'0X1A',就只会读出文件的一部分。使用'rb'的时候会一直读到文件末尾。

第二,对于字符串x='abc\ndef',我们可用len(x)得到它的长度为7,\n我们称之为换行符,实际上是'0X0A'。当我们用'w'即文本方式写的时候,在windows平台上会自动将'0X0A'变成两个字符'0X0D','0X0A',即文件长度实际上变成8.。当用'r'文本方式读取时,又自动的转换成原来的换行符。如果换成'wb'二进制方式来写的话,则会保持一个字符不变,读取时也是原样读取。所以如果用文本方式写入,用二进制方式读取的话,就要考虑这多出的一个字节了。'0X0D'又称回车符。linux下不会变。因为linux只使用'0X0A'来表示换行。

以上就是Python使用struct处理二进制(pack和unpack用法)的详细内容,更多关于python struct处理二进制的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
Python subprocess模块学习总结
Mar 13 Python
Python中AND、OR的一个使用小技巧
Feb 18 Python
Python运行报错UnicodeDecodeError的解决方法
Jun 07 Python
Python中使用装饰器来优化尾递归的示例
Jun 18 Python
Python实现字典按照value进行排序的方法分析
Dec 23 Python
python+opencv打开摄像头,保存视频、拍照功能的实现方法
Jan 08 Python
Python + OpenCV 实现LBP特征提取的示例代码
Jul 11 Python
如何不用安装python就能在.NET里调用Python库
Jul 12 Python
通过实例解析python描述符原理作用
Jan 22 Python
使用Python 自动生成 Word 文档的教程
Feb 13 Python
django 多数据库及分库实现方式
Apr 01 Python
pycharm配置QtDesigner的超详细方法
Jan 25 Python
python切割图片的示例
Nov 12 #Python
教你使用Sublime text3搭建Python开发环境及常用插件安装另分享Sublime text3最新激活注册码
Nov 12 #Python
Django执行源生mysql语句实现过程解析
Nov 12 #Python
Django Model层F,Q对象和聚合函数原理解析
Nov 12 #Python
在Python中字典按值排序的实现方法
Nov 12 #Python
Sublime Text3最新激活注册码分享适用2020最新版 亲测可用
Nov 12 #Python
通过代码简单了解django model序列化作用
Nov 12 #Python
You might like
一拳超人中怪人协会钦定! S级别最强四人!
2020/03/02 日漫
php 破解防盗链图片函数
2008/12/09 PHP
PHP UTF8编码内的繁简转换类
2009/07/20 PHP
php绘图之加载外部图片的方法
2015/01/24 PHP
php生成图片验证码的方法
2016/04/15 PHP
解决php 处理 form 表单提交多个 name 属性值相同的 input 标签问题
2017/05/11 PHP
通过Jscript中@cc_on 语句识别IE浏览器及版本的代码
2011/05/07 Javascript
jquery乱码与contentType属性设置问题解决方案
2013/01/07 Javascript
开发 Internet Explorer 右键功能表(ContextMenu)
2013/07/03 Javascript
根据表格中的某一列进行排序的javascript代码
2013/11/29 Javascript
JavaScript中return用法示例
2016/11/29 Javascript
js中Number数字数值运算后值不对的解决方法
2017/02/28 Javascript
Javascript实现倒计时时差效果
2017/05/18 Javascript
Angular中使用MathJax遇到的一些问题
2017/12/15 Javascript
实时监控input框,实现输入框与下拉框联动的实例
2018/01/23 Javascript
原生JS实现网页手机音乐播放器 歌词同步播放的示例
2018/02/02 Javascript
小程序调用微信支付的方法
2019/09/26 Javascript
微信小程序实现侧边栏分类
2019/10/21 Javascript
[01:24]DOTA2上海特锦赛OG战队抵达 专车接机入驻总统套房
2016/02/23 DOTA
[01:48:04]DOTA2-DPC中国联赛 正赛 PSG.LGD vs Elephant BO3 第一场 2月7日
2021/03/11 DOTA
python获取一组数据里最大值max函数用法实例
2015/05/26 Python
Python实现约瑟夫环问题的方法
2016/05/03 Python
python中通过预先编译正则表达式提高效率
2017/09/25 Python
Python实现简单层次聚类算法以及可视化
2019/03/18 Python
Python的Tkinter点击按钮触发事件的例子
2019/07/19 Python
Django单元测试中Fixtures用法详解
2020/02/25 Python
浅谈Keras中shuffle和validation_split的顺序
2020/06/19 Python
浅析Python迭代器的高级用法
2020/07/16 Python
python 利用toapi库自动生成api
2020/10/19 Python
AmazeUI的JS表单验证框架实战示例分享
2020/08/21 HTML / CSS
澳大利亚领先的睡衣品牌:Peter Alexander
2016/08/16 全球购物
TripAdvisor土耳其网站:全球知名旅行社区,真实旅客评论
2017/04/17 全球购物
法律顾问服务方案
2014/05/15 职场文书
2014酒店客房部工作总结
2014/12/16 职场文书
消费者投诉书范文
2015/07/02 职场文书
Java 通过手写分布式雪花SnowFlake生成ID方法详解
2022/04/07 Java/Android