Python使用文件锁实现进程间同步功能【基于fcntl模块】


Posted in Python onOctober 16, 2017

本文实例讲述了Python使用文件锁实现进程间同步功能。分享给大家供大家参考,具体如下:

简介

在实际应用中,会出现这种应用场景:希望shell下执行的脚本对某些竞争资源提供保护,避免出现冲突。本文将通过fcntl模块的文件整体上锁机制来实现这种进程间同步功能。

fcntl系统函数介绍

Linux系统提供了文件整体上锁(flock)和更细粒度的记录上锁(fcntl)功能,底层功能均可由fcntl函数实现。

首先来了解记录上锁。记录上锁是读写锁的一种扩展类型,它可用于有亲缘关系或无亲缘关系的进程间共享某个文件的读与写。被锁住的文件通过其描述字访问,执行上锁操作的函数是fcntl。这种类型的锁在内核中维护,其宿主标识为fcntl调用进程的进程ID。这意味着这些锁用于不同进程间的上锁,而不是同一进程内不同线程间的上锁。

fcntl记录上锁即可用于读也可用于写,对于文件的任意字节,最多只能存在一种类型的锁(读锁或写锁)。而且,一个给定字节可以有多个读写锁,但只能有一个写入锁。

对于一个打开着某个文件的给定进程来说,当它关闭该文件的任何一个描述字或者终止时,与该文件关联的所有锁都被删除。锁不能通过fork由子进程继承。

NAME
    fcntl - manipulate file descriptor
SYNOPSIS
    #include <unistd.h>
    #include <fcntl.h>
    int fcntl(int fd, int cmd, ... /* arg */ );
DESCRIPTION
    fcntl() performs one of the operations described below on the open file descriptor fd. The operation is determined by cmd.
    fcntl() can take an optional third argument. Whether or not this argument is required is determined by cmd. The required argument type
    is indicated in parentheses after each cmd name (in most cases, the required type is int, and we identify the argument using the name
    arg), or void is specified if the argument is not required.
    Advisory record locking
    Linux implements traditional ("process-associated") UNIX record locks, as standardized by POSIX. For a Linux-specific alternative with
    better semantics, see the discussion of open file description locks below.
    F_SETLK, F_SETLKW, and F_GETLK are used to acquire, release, and test for the existence of record locks (also known as byte-range, file-
    segment, or file-region locks). The third argument, lock, is a pointer to a structure that has at least the following fields (in
    unspecified order).
      struct flock {
        ...
        short l_type;  /* Type of lock: F_RDLCK,
                  F_WRLCK, F_UNLCK */
        short l_whence; /* How to interpret l_start:
                  SEEK_SET, SEEK_CUR, SEEK_END */
        off_t l_start;  /* Starting offset for lock */
        off_t l_len;   /* Number of bytes to lock */
        pid_t l_pid;   /* PID of process blocking our lock
                  (set by F_GETLK and F_OFD_GETLK) */
        ...
      };

其次,文件上锁源自Berkeley的Unix实现支持给整个文件上锁或解锁的文件上锁(file locking),但没有给文件内的字节范围上锁或解锁的能力。

fcntl模块及基于文件锁的同步功能。

Python fcntl模块提供了基于文件描述符的文件和I/O控制功能。它是Unix系统调用fcntl()和ioctl()的接口。因此,我们可以基于文件锁来提供进程同步的功能。

import fcntl
class Lock(object):
  def __init__(self, file_name):
    self.file_name = file_name
    self.handle = open(file_name, 'w')
  def lock(self):
    fcntl.flock(self.handle, fcntl.LOCK_EX)
  def unlock(self):
    fcntl.flock(self.handle, fcntl.LOCK_UN)
  def __del__(self):
    try:
      self.handle.close()
    except:
      pass

应用

我们做一个简单的场景应用:需要从指定的服务器上下载软件版本到/exports/images目录下,因为这个脚本可以在多用户环境执行。我们不希望下载出现冲突,并仅在该目录下保留一份指定的软件版本。下面是基于文件锁的参考实现:

if __name__ == "__main__":
  parser = OptionParser()
  group = OptionGroup(parser, "FTP download tool", "Download build from ftp server")
  group.add_option("--server", type="string", help="FTP server's IP address")
  group.add_option("--username", type="string", help="User name")
  group.add_option("--password", type="string", help="User's password")
  group.add_option("--buildpath", type="string", help="Build path in the ftp server")
  group.add_option("--buildname", type="string", help="Build name to be downloaded")
  parser.add_option_group(group)
  (options, args) = parser.parse_args()
  local_dir = "/exports/images"
  lock_file = "/var/tmp/flock.txt"
  flock = Lock(lock_file)
  flock.lock()
  if os.path.isfile(os.path.join(local_dir, options.buildname)):
    log.info("build exists, nothing needs to be done")
    log.info("Download completed")
    flock.unlock()
    exit(0)
  log.info("start to download build " + options.buildname)
  t = paramiko.Transport((options.server, 22))
  t.connect(username=options.username, password=options.password)
  sftp = paramiko.SFTPClient.from_transport(t)
  sftp.get(os.path.join(options.buildpath, options.buildname),
       os.path.join(local_dir, options.buildname))
  sftp.close()
  t.close()
  log.info("Download completed")
  flock.unlock()

希望本文所述对大家Python程序设计有所帮助。

Python 相关文章推荐
Python bsddb模块操作Berkeley DB数据库介绍
Apr 08 Python
详解appium+python 启动一个app步骤
Dec 20 Python
深入浅析python with语句简介
Apr 11 Python
Python面向对象之反射/自省机制实例分析
Aug 24 Python
django项目搭建与Session使用详解
Oct 10 Python
python实现逐个读取txt字符并修改
Dec 24 Python
python多线程并发让两个LED同时亮的方法
Feb 18 Python
Python OOP类中的几种函数或方法总结
Feb 22 Python
使用django的ORM框架按月统计近一年内的数据方法
Jul 18 Python
爬虫代理池Python3WebSpider源代码测试过程解析
Dec 20 Python
Python 多进程、多线程效率对比
Nov 19 Python
Python使用pandas导入csv文件内容的示例代码
Dec 24 Python
python利用paramiko连接远程服务器执行命令的方法
Oct 16 #Python
基于使用paramiko执行远程linux主机命令(详解)
Oct 16 #Python
python中文件变化监控示例(watchdog)
Oct 16 #Python
python中import reload __import__的区别详解
Oct 16 #Python
使用Python操作excel文件的实例代码
Oct 15 #Python
python出现&quot;IndentationError: unexpected indent&quot;错误解决办法
Oct 15 #Python
python 二分查找和快速排序实例详解
Oct 13 #Python
You might like
PHP中函数内引用全局变量的方法
2008/10/20 PHP
自己在做项目过程中学到的PHP知识收集
2012/08/20 PHP
使用php记录用户通过搜索引擎进网站的关键词
2014/02/13 PHP
Yii框架中memcache用法实例
2014/12/03 PHP
用一段js程序来实现动画功能
2007/03/06 Javascript
prototype 学习笔记整理
2009/07/17 Javascript
理解Javascript_11_constructor实现原理
2010/10/18 Javascript
一些主流JS框架中DOMReady事件的实现小结
2011/02/12 Javascript
js动态创建表格,删除行列的小例子
2013/07/20 Javascript
一个Action如何调用两个不同的方法
2014/05/22 Javascript
教你用jquery实现iframe自适应高度
2014/06/11 Javascript
javascript实现的右下角弹窗实例
2015/04/24 Javascript
javascript制作幻灯片(360度全景图片)
2015/07/28 Javascript
ionic+AngularJs实现获取验证码倒计时按钮
2017/04/22 Javascript
微信小程序之多文件下载的简单封装示例
2018/01/29 Javascript
详解js类型判断
2018/05/22 Javascript
vue 动态添加的路由页面刷新时失效的原因及解决方案
2021/02/26 Vue.js
[46:42]DOTA2-DPC中国联赛正赛 Aster vs Magma BO3 第二场 3月5日
2021/03/11 DOTA
推荐下python/ironpython:从入门到精通
2007/10/02 Python
python del()函数用法
2013/03/24 Python
Python中针对函数处理的特殊方法
2014/03/06 Python
Python基于pyecharts实现关联图绘制
2020/03/27 Python
记一次django内存异常排查及解决方法
2020/08/07 Python
Numpy中的数组搜索中np.where方法详细介绍
2021/01/08 Python
利用CSS3动画实现圆圈由小变大向外扩散的效果实例
2018/09/10 HTML / CSS
印度网上购物首选目的地:Flipkart
2016/08/01 全球购物
全球最大的服务市场:Fiverr
2017/01/03 全球购物
Argos官网:英国家喻户晓的百货零售连锁商
2017/04/03 全球购物
为您的家、后院、车库等在线购物:Spreetail
2019/06/17 全球购物
县优秀教师事迹材料
2014/01/31 职场文书
幼儿园六一亲子活动方案
2014/08/26 职场文书
2014年效能监察工作总结
2014/11/21 职场文书
2015世界地球日活动总结
2015/02/09 职场文书
大学生军训心得体会5篇
2019/08/15 职场文书
《合作意向书》怎么写?
2019/08/20 职场文书
导游词之上海东方明珠塔
2019/09/25 职场文书