Python使用struct处理二进制的实例详解


Posted in Python onSeptember 11, 2017

Python使用struct处理二进制的实例详解

有的时候需要用python处理二进制数据,比如,存取文件,socket操作时.这时候,可以使用python的struct模块来完成.可以用 struct来处理c语言中的结构体. 

  • struct模块中最重要的三个函数是pack(), unpack(), calcsize()
  • pack(fmt, v1, v2, ...)     按照给定的格式(fmt),把数据封装成字符串(实际上是类似于c结构体的字节流)
  • unpack(fmt, string)       按照给定的格式(fmt)解析字节流string,返回解析出来的tuple
  • calcsize(fmt)                 计算给定的格式(fmt)占用多少字节的内存 

struct中支持的格式如下表:

Format C Type Python 字节数
x pad byte no value 1
c char string of length 1 1
b signed char integer 1
B unsigned char integer 1
? _Bool bool 1
h short integer 2
H unsigned short integer 2
i int integer 4
I unsigned int integer or long 4
l long integer 4
L unsigned long long 4
q long long long 8
Q unsigned long long long 8
f float float 4
d double float 8
s char[] string 1
p char[] string 1
P void * long

注1.q和Q只在机器支持64位操作时有意思
注2.每个格式前可以有一个数字,表示个数
注3.s格式表示一定长度的字符串,4s表示长度为4的字符串,但是p表示的是pascal字符串
注4.P用来转换一个指针,其长度和机器字长相关
注5.最后一个可以用来表示指针类型的,占4个字节

为了同c中的结构体交换数据,还要考虑有的c或c++编译器使用了字节对齐,通常是以4个字节为单位的32位系统,故而struct根据本地机器字节顺序转换.可以用格式中的第一个字符来改变对齐方式.定义如下:

Character Byte order Size and alignment
@ native native            凑够4个字节
= native standard        按原字节数
little-endian standard        按原字节数
> big-endian standard       按原字节数
! network (= big-endian) standard       按原字节数

使用方法是放在fmt的第一个位置,就像'@5s6sif' 

示例一:

比如有一个结构体

struct Header
{
  unsigned short id;
  char[4] tag;
  unsigned int version;
  unsigned int count;
}

通过socket.recv接收到了一个上面的结构体数据,存在字符串s中,现在需要把它解析出来,可以使用unpack()函数.

import struct id, tag, version, count = struct.unpack("!H4s2I", s)

上面的格式字符串中,!表示我们要使用网络字节顺序解析,因为我们的数据是从网络中接收到的,在网络上传送的时候它是网络字节顺序的.后面的H表示 一个unsigned short的id,4s表示4字节长的字符串,2I表示有两个unsigned int类型的数据.

就通过一个unpack,现在id, tag, version, count里已经保存好我们的信息了.

同样,也可以很方便的把本地数据再pack成struct格式.

ss = struct.pack("!H4s2I", id, tag, version, count);

pack函数就把id, tag, version, count按照指定的格式转换成了结构体Header,ss现在是一个字符串(实际上是类似于c结构体的字节流),可以通过 socket.send(ss)把这个字符串发送出去.

示例二:

import struct
a=12.34
#将a变为二进制
bytes=struct.pack('i',a)

此时bytes就是一个string字符串,字符串按字节同a的二进制存储内容相同。

再进行反操作

现有二进制数据bytes,(其实就是字符串),将它反过来转换成python的数据类型:

a,=struct.unpack('i',bytes)

注意,unpack返回的是tuple

所以如果只有一个变量的话:

bytes=struct.pack('i',a)

那么,解码的时候需要这样

a,=struct.unpack('i',bytes) 或者 (a,)=struct.unpack('i',bytes)

如果直接用a=struct.unpack('i',bytes),那么 a=(12.34,) ,是一个tuple而不是原来的浮点数了。

如果是由多个数据构成的,可以这样:

a='hello'
b='world!'
c=2
d=45.123
bytes=struct.pack('5s6sif',a,b,c,d)

此时的bytes就是二进制形式的数据了,可以直接写入文件比如 binfile.write(bytes)

然后,当我们需要时可以再读出来,bytes=binfile.read()

再通过struct.unpack()解码成python变量

a,b,c,d=struct.unpack('5s6sif',bytes)

'5s6sif'这个叫做fmt,就是格式化字符串,由数字加字符构成,5s表示占5个字符的字符串,2i,表示2个整数等等,下面是可用的字符及类型,ctype表示可以与python中的类型一一对应。

注意:二进制文件处理时会碰到的问题

我们使用处理二进制文件时,需要用如下方法

binfile=open(filepath,'rb')  读二进制文件

binfile=open(filepath,'wb')  写二进制文件

那么和binfile=open(filepath,'r')的结果到底有何不同呢?

不同之处有两个地方:

第一,使用'r'的时候如果碰到'0x1A',就会视为文件结束,这就是EOF。使用'rb'则不存在这个问题。即,如果你用二进制写入再用文本读出的话,如果其中存在'0X1A',就只会读出文件的一部分。使用'rb'的时候会一直读到文件末尾。

第二,对于字符串x='abc\ndef',我们可用len(x)得到它的长度为7,\n我们称之为换行符,实际上是'0X0A'。当我们用'w'即文本方式写的时候,在windows平台上会自动将'0X0A'变成两个字符'0X0D','0X0A',即文件长度实际上变成8.。当用'r'文本方式读取时,又自动的转换成原来的换行符。如果换成'wb'二进制方式来写的话,则会保持一个字符不变,读取时也是原样读取。所以如果用文本方式写入,用二进制方式读取的话,就要考虑这多出的一个字节了。'0X0D'又称回车符。linux下不会变。因为linux只使用'0X0A'来表示换行。

 如有疑问请留言或者到本站社区交流讨论,感谢阅读,希望能帮助到大家,谢谢大家对本站的支持!

Python 相关文章推荐
python清除指定目录内所有文件中script的方法
Jun 30 Python
利用python代码写的12306订票代码
Dec 20 Python
python rsa 加密解密
Mar 20 Python
Python爬虫框架Scrapy实例代码
Mar 04 Python
PyTorch快速搭建神经网络及其保存提取方法详解
Apr 28 Python
浅谈python中np.array的shape( ,)与( ,1)的区别
Jun 04 Python
Python3 单行多行万能正则匹配方法
Jan 07 Python
Django MEDIA的配置及用法详解
Jul 25 Python
python 基于dlib库的人脸检测的实现
Nov 08 Python
解决windows下python3使用multiprocessing.Pool出现的问题
Apr 08 Python
pygame面向对象的飞行小鸟实现(Flappy bird)
Apr 01 Python
Python matplotlib多个子图绘制整合
Apr 13 Python
Python基于回溯法子集树模板解决野人与传教士问题示例
Sep 11 #Python
Python 高级专用类方法的实例详解
Sep 11 #Python
Python 异常处理的实例详解
Sep 11 #Python
Python基于回溯法子集树模板解决马踏棋盘问题示例
Sep 11 #Python
Python基于回溯法子集树模板解决找零问题示例
Sep 11 #Python
详解 Python 与文件对象共事的实例
Sep 11 #Python
Python 私有函数的实例详解
Sep 11 #Python
You might like
萌王史莱姆”萌王性别尴尬!那“萌战”归女组还是男?
2018/12/17 日漫
[原创]CI(CodeIgniter)简单统计访问人数实现方法
2016/01/19 PHP
php常用数组array函数实例总结【赋值,拆分,合并,计算,添加,删除,查询,判断,排序】
2016/12/07 PHP
一个实用的php验证码类
2017/07/06 PHP
PHP实现按之字形顺序打印二叉树的方法
2018/01/16 PHP
php实现获取近几日、月时间示例
2019/07/06 PHP
PHP 范围解析操作符(::)用法分析【访问静态成员和类常量】
2020/04/14 PHP
JavaScript的eval JSON object问题
2009/11/15 Javascript
通过下拉框的值来确定输入框是否可以为空的代码
2011/10/18 Javascript
JS实现定时页面弹出类似QQ新闻的提示框
2013/11/07 Javascript
$.each遍历对象、数组的属性值并进行处理
2014/07/18 Javascript
Google Maps API地图应用示例分享
2014/10/23 Javascript
以jQuery中$.Deferred对象为例讲解promise对象是如何处理异步问题
2015/11/13 Javascript
jquery实现表格隔行换色效果
2015/11/19 Javascript
基于JavaScript实现智能右键菜单
2016/03/02 Javascript
js提示框替代系统alert,自动关闭alert对话框的实现方法
2016/11/07 Javascript
浅谈Angular4实现热加载开发旅程
2017/09/08 Javascript
jQuery实现table表格信息的展开和缩小功能示例
2018/07/21 jQuery
Vue项目数据动态过滤实践及实现思路
2018/09/11 Javascript
小程序按钮避免多次调用接口和点击方案实现(不用showLoading)
2020/04/15 Javascript
JS实现纸牌发牌动画
2021/01/19 Javascript
下载安装setuptool和pip linux安装pip    
2014/01/24 Python
python socket 超时设置 errno 10054
2014/07/01 Python
详解python中的hashlib模块的使用
2019/04/22 Python
利用Python检测URL状态
2019/07/31 Python
Python模块/包/库安装的六种方法及区别
2020/02/24 Python
python异步Web框架sanic的实现
2020/04/27 Python
日本乐天德国站:Rakuten.de
2019/05/16 全球购物
会计专业毕业生推荐信
2013/11/05 职场文书
房产销售经理职责
2013/12/20 职场文书
新年主持词
2014/03/27 职场文书
局机关干部群众路线个人对照检查材料思想汇报
2014/10/05 职场文书
2015最新民情日记范文
2015/06/26 职场文书
大学新生入学感想
2015/08/07 职场文书
2015年国庆放假通知范文
2015/08/18 职场文书
事业单位工作人员岗前培训心得体会
2016/01/08 职场文书