对Python多线程读写文件加锁的实例详解


Posted in Python onJanuary 14, 2019

Python的多线程在io方面比单线程还是有优势,但是在多线程开发时,少不了对文件的读写操作。在管理多个线程对同一文件的读写操作时,就少不了文件锁了。

使用fcntl

在linux下,python的标准库有现成的文件锁,来自于fcntl模块。这个模块提供了unix系统fcntl()和ioctl()的接口。

对于文件锁的操作,主要需要使用 fcntl.flock(fd, operation)这个函数。

其中,参数 fd 表示文件描述符;参数 operation 指定要进行的锁操作,该参数的取值有如下几种:

LOCK_SH:表示要创建一个共享锁,在任意时间内,一个文件的共享锁可以被多个进程拥有

LOCK_EX:表示创建一个排他锁,在任意时间内,一个文件的排他锁只能被一个进程拥有

LOCK_UN:表示删除该进程创建的锁

LOCK_MAND:它主要是用于共享模式强制锁,它可以与 LOCK_READ 或者 LOCK_WRITE联合起来使用,从而表示是否允许并发的读操作或者并发的写操作

demo

import fcntl
import threading
import time
 
 
def writetoTxt(txtFile):
 id = threading.currentThread().getName()
 with open(txtFile, 'a') as f:
  fcntl.flock(f.fileno(), fcntl.LOCK_EX) #加锁
  print "{0} acquire lock".format(id)
  f.write("write from {0} \r\n".format(id))
  time.sleep(3)
 # 在with块外,文件关闭,自动解锁
 print "{0} exit".format(id)
 
 
for i in range(5):
 myThread = threading.Thread(target=writetoTxt, args=("test.txt",))
 myThread.start()

代码运行期间,控制台将依次打印哪个线程获得了锁,在对文件进行读写。

Thread-1 acquire lock
Thread-1 exit
Thread-2 acquire lock
Thread-2 exit
Thread-3 acquire lock
Thread-3 exit
Thread-5 acquire lock
Thread-5 exit
Thread-4 acquire lock
Thread-4 exit

小结

通过调用

fcntl.flock(f.fileno(), fcntl.LOCK_EX)

对文件加锁,如果有其他线程尝试对test文件加锁,会被阻塞。

当线程执行完毕的时候,锁会自动释放。或者也可以采取主动的方式解锁:调用

fcntl.flock(f.fileno(),fcntl.LOCK_UN)

函数, 对文件test解锁

使用线程锁

当多个线程共享一个数据的时候,必须要进行同步的控制,不然会出现不可预期的结果,即 “线程不安全”

线程同步能够保证多个线程安全访问竞争资源,最简单的同步机制是引入互斥锁。

互斥锁为资源引入一个状态:锁定/非锁定。

某个线程要更改共享数据时,先将其锁定,此时资源的状态为“锁定”,其他线程不能更改;

直到该线程释放资源,将资源的状态变成“非锁定”,其他的线程才能再次锁定该资源。

互斥锁保证了每次只有一个线程进行写入操作,从而保证了多线程情况下数据的正确性。

threading模块中定义了Lock类,可以方便的处理锁定:

#创建锁
mutex = threading.Lock()
#锁定
mutex.acquire([timeout])
#解锁
mutex.release()

Demo

使用互斥锁实现上面的例子的代码如下:

import threading
import time
 
def writetoTxt(txtFile):
 id = threading.currentThread().getName()
 mutex.acquire(10)
 with open(txtFile, 'a') as f:
  print "Thread {0} acquire lock".format(id)
  f.write("write from thread {0} \r\n".format(id))
  time.sleep(3)
 mutex.release()
 print "Thread {0} exit".format(id)
 
 
mutex = threading.Lock()
 
for i in range(5):
 myThread = threading.Thread(target=writetoTxt, args=("test.txt",))
 myThread.start()

(上述代码本质上是一个顺序执行的单线程)

结果:

Thread Thread-1 acquire lock
Thread Thread-1 exit
Thread Thread-2 acquire lock
Thread Thread-2 exit
Thread Thread-3 acquire lock
Thread Thread-3 exit
Thread Thread-4 acquire lock
Thread Thread-4 exit
Thread Thread-5 acquire lock
Thread Thread-5 exit

小结

当一个线程调用锁的acquire()方法获得锁时,锁就进入“locked”状态。每次只有一个线程可以获得锁。如果此时另一个线程试图获得这个锁,该线程就会变为“blocked”状态,称为“同步阻塞”。

直到拥有锁的线程调用锁的release()方法释放锁之后,锁进入“unlocked”状态。线程调度程序从处于同步阻塞状态的线程中选择一个来获得锁,并使得该线程进入运行(running)状态。

以上这篇对Python多线程读写文件加锁的实例详解就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python 中的列表解析和生成表达式
Mar 10 Python
python中enumerate的用法实例解析
Aug 18 Python
Python实现把xml或xsl转换为html格式
Apr 08 Python
Python判断字符串与大小写转换
Jun 08 Python
Python 3.6 读取并操作文件内容的实例
Apr 23 Python
python打包生成的exe文件运行时提示缺少模块的解决方法
Oct 31 Python
python 根据字典的键值进行排序的方法
Jul 24 Python
给你一面国旗 教你用python画中国国旗
Sep 24 Python
python名片管理系统开发
Jun 18 Python
python中查看.db文件中表格的名字及表格中的字段操作
Jul 07 Python
Python学习笔记之装饰器
Aug 06 Python
pytorch常用数据类型所占字节数对照表一览
May 17 Python
Python多进程写入同一文件的方法
Jan 14 #Python
python 将大文件切分为多个小文件的实例
Jan 14 #Python
使用k8s部署Django项目的方法步骤
Jan 14 #Python
Python数据可视化教程之Matplotlib实现各种图表实例
Jan 13 #Python
python中使用 xlwt 操作excel的常见方法与问题
Jan 13 #Python
用Python实现大文本文件切割的方法
Jan 12 #Python
python实时获取外部程序输出结果的方法
Jan 12 #Python
You might like
php 文件上传类代码
2011/08/06 PHP
ThinkPHP文件上传实例教程
2014/08/22 PHP
PHP实现将科学计数法转换为原始数字字符串的方法
2014/12/16 PHP
PHP实现文件上传功能实例代码
2017/05/18 PHP
php判断电子邮件是否正确方法
2018/12/04 PHP
JS验证日期的格式YYYY-mm-dd 具体实现
2013/06/29 Javascript
jquery插件unobtrusive实现片段式加载
2015/06/15 Javascript
全面解析Bootstrap表单使用方法(表单样式)
2015/11/24 Javascript
详解vue mint-ui源码解析之loadmore组件
2017/10/11 Javascript
angular写一个列表的选择全选交互组件的示例
2018/01/22 Javascript
详解Angular6.0使用路由步骤(共7步)
2018/06/29 Javascript
JavaScript 作用域实例分析
2019/10/02 Javascript
js实现AI五子棋人机大战
2020/05/28 Javascript
vue element-ui实现动态面包屑导航
2019/12/23 Javascript
JS面向对象之单选框实现
2020/01/17 Javascript
基于Vue实现微前端的示例代码
2020/04/24 Javascript
Node.js API详解之 net模块实例分析
2020/05/18 Javascript
Javascript call及apply应用场景及实例
2020/08/26 Javascript
Python利用多进程将大量数据放入有限内存的教程
2015/04/01 Python
通过mod_python配置运行在Apache上的Django框架
2015/07/22 Python
对python使用http、https代理的实例讲解
2018/05/07 Python
解决pycharm 远程调试 上传 helpers 卡住的问题
2019/06/27 Python
Python使用pyautocad+openpyxl处理cad文件示例
2019/07/11 Python
python3环境搭建过程(利用Anaconda+pycharm)完整版
2020/08/19 Python
浅析与CSS3的loading动画加载相关的transition优化
2015/05/18 HTML / CSS
CSS3绘制圆角矩形的简单示例
2015/09/28 HTML / CSS
HTML5拖拽的简单实例
2016/05/30 HTML / CSS
半年思想汇报
2013/12/30 职场文书
九年级英语教学反思
2014/01/31 职场文书
孝敬父母的演讲稿
2014/05/14 职场文书
小学运动会班级口号
2014/06/09 职场文书
我们的节日元宵节活动总结
2015/02/06 职场文书
2016年大学生就业指导课心得体会
2015/10/09 职场文书
爱国之歌(8首)
2019/09/29 职场文书
爱心捐款倡议书:点燃希望,传递温暖
2019/11/04 职场文书
导游词之铁岭象牙山
2019/12/06 职场文书