对Python多线程读写文件加锁的实例详解


Posted in Python onJanuary 14, 2019

Python的多线程在io方面比单线程还是有优势,但是在多线程开发时,少不了对文件的读写操作。在管理多个线程对同一文件的读写操作时,就少不了文件锁了。

使用fcntl

在linux下,python的标准库有现成的文件锁,来自于fcntl模块。这个模块提供了unix系统fcntl()和ioctl()的接口。

对于文件锁的操作,主要需要使用 fcntl.flock(fd, operation)这个函数。

其中,参数 fd 表示文件描述符;参数 operation 指定要进行的锁操作,该参数的取值有如下几种:

LOCK_SH:表示要创建一个共享锁,在任意时间内,一个文件的共享锁可以被多个进程拥有

LOCK_EX:表示创建一个排他锁,在任意时间内,一个文件的排他锁只能被一个进程拥有

LOCK_UN:表示删除该进程创建的锁

LOCK_MAND:它主要是用于共享模式强制锁,它可以与 LOCK_READ 或者 LOCK_WRITE联合起来使用,从而表示是否允许并发的读操作或者并发的写操作

demo

import fcntl
import threading
import time
 
 
def writetoTxt(txtFile):
 id = threading.currentThread().getName()
 with open(txtFile, 'a') as f:
  fcntl.flock(f.fileno(), fcntl.LOCK_EX) #加锁
  print "{0} acquire lock".format(id)
  f.write("write from {0} \r\n".format(id))
  time.sleep(3)
 # 在with块外,文件关闭,自动解锁
 print "{0} exit".format(id)
 
 
for i in range(5):
 myThread = threading.Thread(target=writetoTxt, args=("test.txt",))
 myThread.start()

代码运行期间,控制台将依次打印哪个线程获得了锁,在对文件进行读写。

Thread-1 acquire lock
Thread-1 exit
Thread-2 acquire lock
Thread-2 exit
Thread-3 acquire lock
Thread-3 exit
Thread-5 acquire lock
Thread-5 exit
Thread-4 acquire lock
Thread-4 exit

小结

通过调用

fcntl.flock(f.fileno(), fcntl.LOCK_EX)

对文件加锁,如果有其他线程尝试对test文件加锁,会被阻塞。

当线程执行完毕的时候,锁会自动释放。或者也可以采取主动的方式解锁:调用

fcntl.flock(f.fileno(),fcntl.LOCK_UN)

函数, 对文件test解锁

使用线程锁

当多个线程共享一个数据的时候,必须要进行同步的控制,不然会出现不可预期的结果,即 “线程不安全”

线程同步能够保证多个线程安全访问竞争资源,最简单的同步机制是引入互斥锁。

互斥锁为资源引入一个状态:锁定/非锁定。

某个线程要更改共享数据时,先将其锁定,此时资源的状态为“锁定”,其他线程不能更改;

直到该线程释放资源,将资源的状态变成“非锁定”,其他的线程才能再次锁定该资源。

互斥锁保证了每次只有一个线程进行写入操作,从而保证了多线程情况下数据的正确性。

threading模块中定义了Lock类,可以方便的处理锁定:

#创建锁
mutex = threading.Lock()
#锁定
mutex.acquire([timeout])
#解锁
mutex.release()

Demo

使用互斥锁实现上面的例子的代码如下:

import threading
import time
 
def writetoTxt(txtFile):
 id = threading.currentThread().getName()
 mutex.acquire(10)
 with open(txtFile, 'a') as f:
  print "Thread {0} acquire lock".format(id)
  f.write("write from thread {0} \r\n".format(id))
  time.sleep(3)
 mutex.release()
 print "Thread {0} exit".format(id)
 
 
mutex = threading.Lock()
 
for i in range(5):
 myThread = threading.Thread(target=writetoTxt, args=("test.txt",))
 myThread.start()

(上述代码本质上是一个顺序执行的单线程)

结果:

Thread Thread-1 acquire lock
Thread Thread-1 exit
Thread Thread-2 acquire lock
Thread Thread-2 exit
Thread Thread-3 acquire lock
Thread Thread-3 exit
Thread Thread-4 acquire lock
Thread Thread-4 exit
Thread Thread-5 acquire lock
Thread Thread-5 exit

小结

当一个线程调用锁的acquire()方法获得锁时,锁就进入“locked”状态。每次只有一个线程可以获得锁。如果此时另一个线程试图获得这个锁,该线程就会变为“blocked”状态,称为“同步阻塞”。

直到拥有锁的线程调用锁的release()方法释放锁之后,锁进入“unlocked”状态。线程调度程序从处于同步阻塞状态的线程中选择一个来获得锁,并使得该线程进入运行(running)状态。

以上这篇对Python多线程读写文件加锁的实例详解就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python 判断一个进程是否存在
Apr 09 Python
Android 兼容性问题:java.lang.UnsupportedOperationException解决办法
Mar 19 Python
Python实现在tkinter中使用matplotlib绘制图形的方法示例
Jan 18 Python
python去掉空白行的多种实现代码
Mar 19 Python
TensorFlow Session使用的两种方法小结
Jul 30 Python
从DataFrame中提取出Series或DataFrame对象的方法
Nov 10 Python
浅谈python 读excel数值为浮点型的问题
Dec 25 Python
Python如何批量获取文件夹的大小并保存
Mar 31 Python
基于python实现查询ip地址来源
Jun 02 Python
Python Unittest原理及基本使用方法
Nov 06 Python
Pandas直接读取sql脚本的方法
Jan 21 Python
python turtle绘制多边形和跳跃和改变速度特效
Mar 16 Python
Python多进程写入同一文件的方法
Jan 14 #Python
python 将大文件切分为多个小文件的实例
Jan 14 #Python
使用k8s部署Django项目的方法步骤
Jan 14 #Python
Python数据可视化教程之Matplotlib实现各种图表实例
Jan 13 #Python
python中使用 xlwt 操作excel的常见方法与问题
Jan 13 #Python
用Python实现大文本文件切割的方法
Jan 12 #Python
python实时获取外部程序输出结果的方法
Jan 12 #Python
You might like
php 字符转义 注意事项
2009/05/27 PHP
用PHP书写安全的脚本代码
2012/02/05 PHP
解析PHP的session过期设置
2013/06/29 PHP
php显示时间常用方法小结
2015/06/05 PHP
win7安装php框架Yii的方法
2016/01/25 PHP
Yii2前后台分离及migrate使用(七)
2016/05/04 PHP
Thinkphp3.2.3分页使用实例解析
2016/07/28 PHP
PHP获取对象属性的三种方法实例分析
2019/01/03 PHP
在线游戏大家来找茬II
2006/09/30 Javascript
JavaScript的Cookies
2008/01/16 Javascript
google地图的路线实现代码
2009/08/20 Javascript
jQuery html()等方法介绍
2009/11/18 Javascript
三种方式获取XMLHttpRequest对象
2014/04/21 Javascript
在Ubuntu上安装最新版本的Node.js
2014/07/14 Javascript
JS合并数组的几种方法及优劣比较
2014/09/19 Javascript
node.js中的fs.createReadStream方法使用说明
2014/12/17 Javascript
JS上传图片前实现图片预览效果的方法
2015/03/02 Javascript
使用getBoundingClientRect方法实现简洁的sticky组件的方法
2016/03/22 Javascript
JS表格组件神器bootstrap table详解(强化版)
2016/05/26 Javascript
Bootstrap的fileinput插件实现多文件上传的方法
2016/09/05 Javascript
jQueryUI 拖放排序遇到滚动条时有可能无法执行排序的小bug及解决方案
2016/12/19 Javascript
基于JQuery及AJAX实现名人名言随机生成器
2017/02/10 Javascript
从零开始做一个pagination分页组件
2017/03/15 Javascript
监听element-ui table滚动事件的方法
2019/03/26 Javascript
JavaScript中十种一步拷贝数组的方法实例详解
2019/04/22 Javascript
Windows下搭建python开发环境详细步骤
2020/07/20 Python
解决python3中解压zip文件是文件名乱码的问题
2018/03/22 Python
Django csrf 验证问题的实现
2018/10/09 Python
Python Selenium自动化获取页面信息的方法
2020/08/31 Python
Django mysqlclient安装和使用详解
2020/09/17 Python
用 python 进行微信好友信息分析
2020/11/28 Python
详解win10下pytorch-gpu安装以及CUDA详细安装过程
2021/01/28 Python
Smallable意大利家庭概念店:设计师童装及家居装饰
2018/01/08 全球购物
初中高效课堂实施方案
2014/02/26 职场文书
秋季运动会加油词
2015/07/18 职场文书
剑指Offer之Java算法习题精讲二叉树专项训练
2022/03/21 Java/Android