对Python多线程读写文件加锁的实例详解


Posted in Python onJanuary 14, 2019

Python的多线程在io方面比单线程还是有优势,但是在多线程开发时,少不了对文件的读写操作。在管理多个线程对同一文件的读写操作时,就少不了文件锁了。

使用fcntl

在linux下,python的标准库有现成的文件锁,来自于fcntl模块。这个模块提供了unix系统fcntl()和ioctl()的接口。

对于文件锁的操作,主要需要使用 fcntl.flock(fd, operation)这个函数。

其中,参数 fd 表示文件描述符;参数 operation 指定要进行的锁操作,该参数的取值有如下几种:

LOCK_SH:表示要创建一个共享锁,在任意时间内,一个文件的共享锁可以被多个进程拥有

LOCK_EX:表示创建一个排他锁,在任意时间内,一个文件的排他锁只能被一个进程拥有

LOCK_UN:表示删除该进程创建的锁

LOCK_MAND:它主要是用于共享模式强制锁,它可以与 LOCK_READ 或者 LOCK_WRITE联合起来使用,从而表示是否允许并发的读操作或者并发的写操作

demo

import fcntl
import threading
import time
 
 
def writetoTxt(txtFile):
 id = threading.currentThread().getName()
 with open(txtFile, 'a') as f:
  fcntl.flock(f.fileno(), fcntl.LOCK_EX) #加锁
  print "{0} acquire lock".format(id)
  f.write("write from {0} \r\n".format(id))
  time.sleep(3)
 # 在with块外,文件关闭,自动解锁
 print "{0} exit".format(id)
 
 
for i in range(5):
 myThread = threading.Thread(target=writetoTxt, args=("test.txt",))
 myThread.start()

代码运行期间,控制台将依次打印哪个线程获得了锁,在对文件进行读写。

Thread-1 acquire lock
Thread-1 exit
Thread-2 acquire lock
Thread-2 exit
Thread-3 acquire lock
Thread-3 exit
Thread-5 acquire lock
Thread-5 exit
Thread-4 acquire lock
Thread-4 exit

小结

通过调用

fcntl.flock(f.fileno(), fcntl.LOCK_EX)

对文件加锁,如果有其他线程尝试对test文件加锁,会被阻塞。

当线程执行完毕的时候,锁会自动释放。或者也可以采取主动的方式解锁:调用

fcntl.flock(f.fileno(),fcntl.LOCK_UN)

函数, 对文件test解锁

使用线程锁

当多个线程共享一个数据的时候,必须要进行同步的控制,不然会出现不可预期的结果,即 “线程不安全”

线程同步能够保证多个线程安全访问竞争资源,最简单的同步机制是引入互斥锁。

互斥锁为资源引入一个状态:锁定/非锁定。

某个线程要更改共享数据时,先将其锁定,此时资源的状态为“锁定”,其他线程不能更改;

直到该线程释放资源,将资源的状态变成“非锁定”,其他的线程才能再次锁定该资源。

互斥锁保证了每次只有一个线程进行写入操作,从而保证了多线程情况下数据的正确性。

threading模块中定义了Lock类,可以方便的处理锁定:

#创建锁
mutex = threading.Lock()
#锁定
mutex.acquire([timeout])
#解锁
mutex.release()

Demo

使用互斥锁实现上面的例子的代码如下:

import threading
import time
 
def writetoTxt(txtFile):
 id = threading.currentThread().getName()
 mutex.acquire(10)
 with open(txtFile, 'a') as f:
  print "Thread {0} acquire lock".format(id)
  f.write("write from thread {0} \r\n".format(id))
  time.sleep(3)
 mutex.release()
 print "Thread {0} exit".format(id)
 
 
mutex = threading.Lock()
 
for i in range(5):
 myThread = threading.Thread(target=writetoTxt, args=("test.txt",))
 myThread.start()

(上述代码本质上是一个顺序执行的单线程)

结果:

Thread Thread-1 acquire lock
Thread Thread-1 exit
Thread Thread-2 acquire lock
Thread Thread-2 exit
Thread Thread-3 acquire lock
Thread Thread-3 exit
Thread Thread-4 acquire lock
Thread Thread-4 exit
Thread Thread-5 acquire lock
Thread Thread-5 exit

小结

当一个线程调用锁的acquire()方法获得锁时,锁就进入“locked”状态。每次只有一个线程可以获得锁。如果此时另一个线程试图获得这个锁,该线程就会变为“blocked”状态,称为“同步阻塞”。

直到拥有锁的线程调用锁的release()方法释放锁之后,锁进入“unlocked”状态。线程调度程序从处于同步阻塞状态的线程中选择一个来获得锁,并使得该线程进入运行(running)状态。

以上这篇对Python多线程读写文件加锁的实例详解就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
实例讲解python函数式编程
Jun 09 Python
使用Python脚本操作MongoDB的教程
Apr 16 Python
Python中用于计算对数的log()方法
May 15 Python
Python检测一个对象是否为字符串类的方法
May 21 Python
python中list常用操作实例详解
Jun 03 Python
python之Socket网络编程详解
Sep 29 Python
python 读取视频,处理后,实时计算帧数fps的方法
Jul 10 Python
python实现周期方波信号频谱图
Jul 21 Python
django开发post接口简单案例,获取参数值的方法
Dec 11 Python
Python实现的对一个数进行因式分解操作示例
Jun 27 Python
nginx搭建基于python的web环境的实现步骤
Jan 03 Python
如何用 Python 制作一个迷宫游戏
Feb 25 Python
Python多进程写入同一文件的方法
Jan 14 #Python
python 将大文件切分为多个小文件的实例
Jan 14 #Python
使用k8s部署Django项目的方法步骤
Jan 14 #Python
Python数据可视化教程之Matplotlib实现各种图表实例
Jan 13 #Python
python中使用 xlwt 操作excel的常见方法与问题
Jan 13 #Python
用Python实现大文本文件切割的方法
Jan 12 #Python
python实时获取外部程序输出结果的方法
Jan 12 #Python
You might like
去除链接虚线全面分析总结
2006/08/15 Javascript
[原创]站长必须要知道的javascript广告代码
2007/05/30 Javascript
jquery JSON的解析方式
2009/07/25 Javascript
js 实现无干扰阴影效果 简单好用(附文件下载)
2009/12/27 Javascript
js验证电话号码与手机支持+86的正则表达式
2014/01/23 Javascript
javascript自定义的addClass()方法
2014/05/28 Javascript
js中获取 table节点各tr及td的内容简单实例
2016/10/14 Javascript
js实现关闭网页出现是否离开提示
2017/12/07 Javascript
Vue响应式原理深入解析及注意事项
2017/12/11 Javascript
探索Vue高阶组件的使用
2018/01/08 Javascript
vue实现简单的MVVM框架
2018/08/05 Javascript
详解Vue项目中出现Loading chunk {n} failed问题的解决方法
2018/09/14 Javascript
JavaScript模板引擎应用场景及实现原理详解
2018/12/14 Javascript
Vue 组件参数校验与非props特性的方法
2019/02/12 Javascript
详解微信小程序用定时器实现倒计时效果
2019/04/30 Javascript
Vue CLI3基础学习之pages构建多页应用
2019/06/02 Javascript
小程序实现多个选项卡切换
2020/06/19 Javascript
[47:03]Ti4第二日主赛事败者组 LGD vs iG 2
2014/07/21 DOTA
[02:31]《DAC最前线》之选手酒店现场花絮
2015/01/30 DOTA
python抓取某汽车网数据解析html存入excel示例
2013/12/04 Python
Python单体模式的几种常见实现方法详解
2017/07/28 Python
Python简单实现控制电脑的方法
2018/01/22 Python
python3+selenium实现126邮箱登陆并发送邮件功能
2019/01/23 Python
对pandas通过索引提取dataframe的行方法详解
2019/02/01 Python
Django接收post前端返回的json格式数据代码实现
2019/07/31 Python
修改 CentOS 6.x 上默认Python的方法
2019/09/06 Python
Keras 实现加载预训练模型并冻结网络的层
2020/06/15 Python
CSS3 中filter(滤镜)属性使用详解
2020/04/07 HTML / CSS
html5实现滑块功能之type="range"属性
2020/02/18 HTML / CSS
新东网科技Java笔试题
2012/07/13 面试题
初三开学计划书
2014/04/27 职场文书
自我介绍演讲稿范文
2014/08/21 职场文书
个人债务授权委托书范本
2014/10/05 职场文书
2015毕业生实习工作总结
2014/12/12 职场文书
第一军规观后感
2015/06/12 职场文书
浅谈什么是SpringBoot异常处理自动配置的原理
2021/06/21 Java/Android