Python中struct模块对字节流/二进制流的操作教程


Posted in Python onJanuary 21, 2017

前言

最近使用Python解析IDX文件格式的MNIST数据集,需要对二进制文件进行读取操作,其中我使用的是struct模块。查了网上挺多教程都写的挺好的,不过对新手不是很友好,所以我重新整理了一些笔记以供快速上手。

注:教程中以下四个名词同义:二进制流、二进制数组、字节流、字节数组

快速上手

在struct模块中,将一个整型数字、浮点型数字或字符流(字符数组)转换为字节流(字节数组)时,需要使用格式化字符串fmt告诉struct模块被转换的对象是什么类型,比如整型数字是'i',浮点型数字是'f',一个ascii码字符是's'。

def demo1():
 # 使用bin_buf = struct.pack(fmt, buf)将buf为二进制数组bin_buf
 # 使用buf = struct.unpack(fmt, bin_buf)将bin_buf二进制数组反转换回buf

 # 整型数 -> 二进制流
 buf1 = 256
 bin_buf1 = struct.pack('i', buf1) # 'i'代表'integer'
 ret1 = struct.unpack('i', bin_buf1)
 print bin_buf1, ' <====> ', ret1

 # 浮点数 -> 二进制流
 buf2 = 3.1415
 bin_buf2 = struct.pack('d', buf2) # 'd'代表'double'
 ret2 = struct.unpack('d', bin_buf2)
 print bin_buf2, ' <====> ', ret2

 # 字符串 -> 二进制流
 buf3 = 'Hello World'
 bin_buf3 = struct.pack('11s', buf3) # '11s'代表长度为11的'string'字符数组
 ret3 = struct.unpack('11s', bin_buf3)
 print bin_buf3, ' <====> ', ret3

 # 结构体 -> 二进制流
 # 假设有一个结构体
 # struct header {
 # int buf1;
 # double buf2;
 # char buf3[11];
 # }
 bin_buf_all = struct.pack('id11s', buf1, buf2, buf3)
 ret_all = struct.unpack('id11s', bin_buf_all)
 print bin_buf_all, ' <====> ', ret_all

输出结果如下:

Python中struct模块对字节流/二进制流的操作教程
demo1输出结果

详解struct模块

主要函数

struct模块中最重要的三个函数是pack() , unpack() , calcsize()

# 按照给定的格式化字符串,把数据封装成字符串(实际上是类似于c结构体的字节流)
string = struct.pack(fmt, v1, v2, ...)

# 按照给定的格式(fmt)解析字节流string,返回解析出来的tuple
tuple = unpack(fmt, string)

# 计算给定的格式(fmt)占用多少字节的内存
offset = calcsize(fmt)

struct中的格式化字符串

struct中支持的格式如下表:

Format C Type Python 字节数
x pad byte no value 1
c char string of length 1 1
b signed char integer 1
B unsigned char integer 1
? _Bool bool 1
h short integer 2
H unsigned short integer 2
i int integer 4
I unsigned int integer or lon 4
l long integer 4
L unsigned long long 4
q long long long 8
Q unsigned long long long 8
f float float 4
d double float 8
s char[] string 1
p char[] string 1
P void * long  

      注1:q和Q只在机器支持64位操作时有意思

      注2:每个格式前可以有一个数字,表示个数

      注3:s格式表示一定长度的字符串,4s表示长度为4的字符串,但是p表示的是pascal字符串

      注4:P用来转换一个指针,其长度和机器字长相关

      注5:最后一个可以用来表示指针类型的,占4个字节

为了同c中的结构体交换数据,还要考虑有的c或c++编译器使用了字节对齐,通常是以4个字节为单位的32位系统,故而struct根据本地机器字节顺序转换.可以用格式中的第一个字符来改变对齐方式.定义如下:

Character Byte order Size and alignment
@ native native 凑够4个字节
= native standard 按原字节数
little-endian standard 按原字节数
> big-endian standard 按原字节数
! network (= big-endian) standard 按原字节数

使用方法是放在fmt的第一个位置,就像'@5s6sif'

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作能带来一定的帮助如果有疑问大家可以留言交流。

Python 相关文章推荐
Python 正则表达式操作指南
May 04 Python
Python中optparser库用法实例详解
Jan 26 Python
Python numpy实现二维数组和一维数组拼接的方法
Jun 05 Python
Tensorflow中的placeholder和feed_dict的使用
Jul 09 Python
Python爬虫框架scrapy实现downloader_middleware设置proxy代理功能示例
Aug 04 Python
Python模块、包(Package)概念与用法分析
May 31 Python
python3下载抖音视频的完整代码
Jun 05 Python
Pandas操作CSV文件的读写实现方法
Nov 13 Python
Python Scrapy框架第一个入门程序示例
Feb 05 Python
python如何利用paramiko执行服务器命令
Nov 07 Python
python中pyplot基础图标函数整理
Nov 10 Python
Python爬虫之Selenium中frame/iframe表单嵌套页面
Dec 04 Python
python使用xlrd与xlwt对excel的读写和格式设定
Jan 21 #Python
Python第三方库xlrd/xlwt的安装与读写Excel表格
Jan 21 #Python
python实现的多线程端口扫描功能示例
Jan 21 #Python
Python 字符串大小写转换的简单实例
Jan 21 #Python
linux平台使用Python制作BT种子并获取BT种子信息的方法
Jan 20 #Python
python dict 字典 以及 赋值 引用的一些实例(详解)
Jan 20 #Python
Python使用中文正则表达式匹配指定中文字符串的方法示例
Jan 20 #Python
You might like
php笔记之:AOP的应用
2013/04/24 PHP
php header函数的常用http头设置
2015/06/25 PHP
解决laravel查询构造器中的别名问题
2019/10/17 PHP
PHP安装扩展mcrypt以及相关依赖项深入讲解
2021/03/04 PHP
js不是基础的基础
2006/12/24 Javascript
jquery创建div 实现代码
2009/04/27 Javascript
JavaScript Cookie的读取和写入函数
2009/12/08 Javascript
基于jquery的模态div层弹出效果
2010/08/21 Javascript
使用jQuery实现星级评分代码分享
2014/12/09 Javascript
javascript实现支持移动设备画廊
2015/08/24 Javascript
js仿支付宝多方框输入支付密码效果
2016/09/27 Javascript
jQuery时间验证和转换为标准格式的时间格式
2017/03/06 Javascript
Node.js利用debug模块打印出调试日志的方法
2017/04/25 Javascript
web前端vue之CSS过渡效果示例
2018/01/10 Javascript
vue脚手架及vue-router基本使用
2018/04/09 Javascript
node.js部署之启动后台运行forever的方法
2018/05/23 Javascript
Nodejs异步流程框架async的方法
2019/06/07 NodeJs
vue swipe自定义组件实现轮播效果
2019/07/03 Javascript
Vue触发input选取文件点击事件操作
2020/08/07 Javascript
js实现搜索提示框效果
2020/09/05 Javascript
Vue实现开关按钮拖拽效果
2020/09/22 Javascript
python网页请求urllib2模块简单封装代码
2014/02/07 Python
python3 与python2 异常处理的区别与联系
2016/06/19 Python
python打包生成的exe文件运行时提示缺少模块的解决方法
2018/10/31 Python
在Python中居然可以定义两个同名通参数的函数
2019/01/31 Python
使用Rasterio读取栅格数据的实例讲解
2019/11/26 Python
Python中使用socks5设置全局代理的方法示例
2020/04/15 Python
解决python 执行sql语句时所传参数含有单引号的问题
2020/06/06 Python
Python 实现PS滤镜的旋涡特效
2020/12/03 Python
eDreams巴西:廉价机票,酒店优惠和度假套餐
2017/04/14 全球购物
师范生实习个人的自我评价
2013/09/28 职场文书
中文专业毕业生自荐信
2014/05/24 职场文书
销售员岗位职责
2014/06/09 职场文书
2015年高校就业工作总结
2015/05/04 职场文书
感恩老师主题班会
2015/08/12 职场文书
导游词之香港-太平山顶
2019/10/18 职场文书