在Python中测试访问同一数据的竞争条件的方法


Posted in Python onApril 23, 2015

当你有多个进程或线程访问相同的数据时,竞争条件是一个威胁。本文探讨了在发现竞争条件后如何测试它们。

Incrmnt

你在一个名为“Incrmnt”的火热新创公司工作,该公司只做一件事情,并且做得比较好。

你展示一个全局计数器和一个加号,用户可以点击加号,此时计数器加一。这太简单了,而且容易使人上瘾。毫无疑问这就是接下来的大事情。

投资者们争先恐后的进入了董事会,但你有一个大问题。

竞争条件

在你的内测中,Abraham和Belinda是如此的兴奋,以至于每个人都点了100次加号按钮。你的服务器日志显示了200次请求,但计数器却显示为173。很明显,有一些请求没有被加上。

先将“Incrmnt变成了一坨屎”的新闻抛到脑后,你检查下代码(本文用到的所有代码都能在Github上找到)。
 

# incrmnt.py
import db
 
def increment():
  count = db.get_count()
 
  new_count = count + 1
  db.set_count(new_count)
 
  return new_count

你的Web服务器使用多进程处理流量请求,所以这个函数能在不同的线程中同时执行。如果你没掌握好时机,将会发生:
 

# 线程1和线程2在不同的进程中同时执行
# 为了展示的目的,在这里并排放置
# 在垂直方向分开它们,以说明在每个时间点上执行什么代码
# Thread 1(线程1)         # Thread 2(线程2)
def increment():
                  def increment():
  # get_count returns 0
  count = db.get_count()
                    # get_count returns 0 again
                    count = db.get_count()
  new_count = count + 1
  # set_count called with 1
  db.set_count(new_count)
                    new_count = count + 1
                    # set_count called with 1 again
                    db.set_count(new_count)

所以尽管增加了两次计数,但最终只增加了1。

你知道你可以修改这个代码,变为线程安全的,但是在你那么做之前,你还想写一个测试证明竞争的存在。

重现竞争

在理想情况下,测试应该尽可能的重现上面的场景。竞争的关键因素是:

?两个 get_count 调用必须在两个 set_count 调用之前执行,从而使得两个线程中的计数具有相同的值。

set_count 调用,什么时候执行都没关系,只要它们都在 get_count 调用之后即可。

简单起见,我们试着重现这个嵌套的情形。这里整 个Thread 2 在 Thread 1 的首个 get_count 调用之后执行:

 

# Thread 1             # Thread 2
def increment():
  # get_count returns 0
  count = db.get_count()
                  def increment():
                    # get_count returns 0 again
                    count = db.get_count()
 
                    # set_count called with 1
                    new_count = count + 1
                    db.set_count(new_count)
  # set_count called with 1 again
  new_count = count + 1
  db.set_count(new_count)

before_after 是一个库,它提供了帮助重现这种情形的工具。它可以在一个函数之前或之后插入任意代码。

before_after 依赖于 mock 库,它用来补充一些功能。如果你不熟悉 mock,我建议阅读一些优秀的文档。文档中特别重要的部分是 Where To Patch。

我们希望,Thread 1 调用 get_count 后,执行全部的 Thread 2 ,之后恢复执行 Thread 1。

我们的测试代码如下:
 

# test_incrmnt.py
 
import unittest
 
import before_after
 
import db
import incrmnt
 
class TestIncrmnt(unittest.TestCase):
  def setUp(self):
    db.reset_db()
 
  def test_increment_race(self):
    # after a call to get_count, call increment
    with before_after.after('incrmnt.db.get_count', incrmnt.increment):
      # start off the race with a call to increment
      incrmnt.increment()
 
    count = db.get_count()
    self.assertEqual(count, 2)

在首次 get_count 调用之后,我们使用 before_after 的上下文管理器 after 来插入另外一个 increment 的调用。

在默认情况下,before_after只调用一次 after 函数。在这个特殊的情况下这是很有用的,因为否则的话堆栈会溢出(increment调用get_count,get_coun t也调用 increment,increment 又调用get_count…)。

这个测试失败了,因为计数等于1,而不是2。现在我们有一个重现了竞争条件的失败测试,一起来修复。

防止竞争

我们将要使用一个简单的锁机制来减缓竞争。这显然不是理想的解决方案,更好的解决方法是使用原子更新进行数据存储——但这种方法能更好地示范 before_after 在测试多线程应用程序上的作用。

在 incrmnt.py 中添加一个新函数:

# incrmnt.py
 
def locking_increment():
  with db.get_lock():
    return increment()

它保证在同一时间只有一个线程对计数进行读写操作。如果一个线程试图获取锁,而锁被另外一个线程保持,将会引发 CouldNotLock 异常。

现在我们增加这样一个测试:
 

# test_incrmnt.py
 
def test_locking_increment_race(self):
  def erroring_locking_increment():
    # Trying to get a lock when the other thread has it will cause a
    # CouldNotLock exception - catch it here or the test will fail
    with self.assertRaises(db.CouldNotLock):
      incrmnt.locking_increment()
 
  with before_after.after('incrmnt.db.get_count', erroring_locking_increment):
    incrmnt.locking_increment()
 
  count = db.get_count()
  self.assertEqual(count, 1)

现在在同一时间,就只有一个线程能够增加计数了。

减缓竞争

我们这里还有一个问题,通过上边这种方式,如果两个请求冲突,一个不会被登记。为了缓解这个问题,我们可以让 increment 重新链接服务器(有一个简洁的方式,就是用类似 funcy retry 的东西):
 

# incrmnt.py
 
def retrying_locking_increment():
  @retry(tries=5, errors=db.CouldNotLock)
  def _increment():
    return locking_increment()
 
  return _increment()

当我们需要比这种方法提供的更大规模的操作时,可以将 increment 作为一个原子更新或事务转移到我们的数据库中,让其在远离我们的应用程序的地方承担责任。

总结

Incrmnt 现在不存在竞争了,人们可以愉快地点击一整天,而不用担心自己不被计算在内。

这是一个简单的例子,但是 before_after 可以用于更复杂的竞争条件,以确保你的函数能正确地处理所有情形。能够在单线程环境中测试和重现竞争条件是一个关键,它能让你更确定你正在正确地处理竞争条件。

Python 相关文章推荐
python中的函数用法入门教程
Sep 02 Python
跟老齐学Python之玩转字符串(2)更新篇
Sep 28 Python
python任务调度实例分析
May 19 Python
关于Python中异常(Exception)的汇总
Jan 18 Python
Python使用迭代器捕获Generator返回值的方法
Apr 05 Python
利用Python读取文件的四种不同方法比对
May 18 Python
python+selenium打印当前页面的titl和url方法
Jun 22 Python
自学python的建议和周期预算
Jan 30 Python
使用PYTHON解析Wireshark的PCAP文件方法
Jul 23 Python
查看端口并杀进程python脚本代码
Dec 17 Python
python 通过文件夹导入包的操作
Jun 01 Python
简单的命令查看安装的python版本号
Aug 28 Python
python实现在每个独立进程中运行一个函数的方法
Apr 23 #Python
python输出指定月份日历的方法
Apr 23 #Python
python打开文件并获取文件相关属性的方法
Apr 23 #Python
Python实现计算文件夹下.h和.cpp文件的总行数
Apr 23 #Python
Python实现把回车符\r\n转换成\n
Apr 23 #Python
Python实现对比不同字体中的同一字符的显示效果
Apr 23 #Python
Python3里的super()和__class__使用介绍
Apr 23 #Python
You might like
php 静态化实现代码
2009/03/20 PHP
基于php socket(fsockopen)的应用实例分析
2013/06/02 PHP
php中通过数组进行高效随机抽取指定条记录的算法
2013/09/09 PHP
php数组函数array_walk用法示例
2016/05/26 PHP
php通过各种函数判断0和空
2020/07/04 PHP
laravel框架模型中非静态方法也能静态调用的原理分析
2019/11/23 PHP
PHP xpath提取网页数据内容代码解析
2020/07/16 PHP
摘自百度的图片轮换效果代码
2007/11/19 Javascript
轻轻松松学JS调试(不下载任何工具)
2010/04/14 Javascript
javascript中获取下个月一号,是星期几
2012/06/01 Javascript
一个简单的弹性返回顶部JS代码实现介绍
2013/06/09 Javascript
浅谈Jquery中Ajax异步请求中的async参数的作用
2016/06/06 Javascript
Vue实现动态显示textarea剩余字数
2017/05/22 Javascript
Vue.Draggable拖拽功能的配置使用方法
2020/07/29 Javascript
深入了解JavaScript 私有化
2019/05/30 Javascript
通过python下载FTP上的文件夹的实现代码
2013/02/10 Python
Python群发邮件实例代码
2014/01/03 Python
用Python程序抓取网页的HTML信息的一个小实例
2015/05/02 Python
Python检测一个对象是否为字符串类的方法
2015/05/21 Python
浅谈python之新式类
2018/08/12 Python
python获取本机所有IP地址的方法
2018/12/26 Python
python画双y轴图像的示例代码
2019/07/07 Python
Python单元测试工具doctest和unittest使用解析
2019/09/02 Python
Python 在函数上添加包装器
2020/07/28 Python
使用Python将语音转换为文本的方法
2020/08/10 Python
matplotlib更改窗口图标的方法示例
2021/02/03 Python
极简的HTML5模版
2015/07/09 HTML / CSS
北京-环亚运商测试题.net程序员初步测试题
2013/05/28 面试题
高职教师先进事迹材料
2014/08/24 职场文书
国防教育标语
2014/10/08 职场文书
刑事和解协议书范本
2014/11/19 职场文书
在职证明范本
2015/06/15 职场文书
高三数学复习备考教学反思
2016/02/18 职场文书
工作转正自我鉴定范文
2019/06/21 职场文书
为Java项目添加Redis缓存的方法
2021/05/18 Redis
Golang 入门 之url 包
2022/05/04 Golang