对于Python中线程问题的简单讲解


Posted in Python onApril 03, 2015

我们将会看到一些在Python中使用线程的实例和如何避免线程之间的竞争。你应当将下边的例子运行多次,以便可以注意到线程是不可预测的和线程每次运行出的不同结果。声明:从这里开始忘掉你听到过的关于GIL的东西,因为GIL不会影响到我想要展示的东西。

示例1

我们将要请求五个不同的url:
单线程
 

import time
import urllib2
 
def get_responses():
 urls = [
  'http://www.google.com',
  'http://www.amazon.com',
  'http://www.ebay.com',
  'http://www.alibaba.com',
  'http://www.reddit.com'
 ]
 start = time.time()
 for url in urls:
  print url
  resp = urllib2.urlopen(url)
  print resp.getcode()
 print "Elapsed time: %s" % (time.time()-start)
 
get_responses()

输出是:
 

http://www.google.com 200
http://www.amazon.com 200
http://www.ebay.com 200
http://www.alibaba.com 200
http://www.reddit.com 200
Elapsed time: 3.0814409256

解释:

  •     url顺序的被请求
  •     除非cpu从一个url获得了回应,否则不会去请求下一个url
  •     网络请求会花费较长的时间,所以cpu在等待网络请求的返回时间内一直处于闲置状态。

多线程
 

import urllib2
import time
from threading import Thread
 
class GetUrlThread(Thread):
 def __init__(self, url):
  self.url = url
  super(GetUrlThread, self).__init__()
 
 def run(self):
  resp = urllib2.urlopen(self.url)
  print self.url, resp.getcode()
 
def get_responses():
 urls = [
  'http://www.google.com',
  'http://www.amazon.com',
  'http://www.ebay.com',
  'http://www.alibaba.com',
  'http://www.reddit.com'
 ]
 start = time.time()
 threads = []
 for url in urls:
  t = GetUrlThread(url)
  threads.append(t)
  t.start()
 for t in threads:
  t.join()
 print "Elapsed time: %s" % (time.time()-start)
 
get_responses()

输出:
 

http://www.reddit.com 200
http://www.google.com 200
http://www.amazon.com 200
http://www.alibaba.com 200
http://www.ebay.com 200
Elapsed time: 0.689890861511

解释:

  •     意识到了程序在执行时间上的提升
  •     我们写了一个多线程程序来减少cpu的等待时间,当我们在等待一个线程内的网络请求返回时,这时cpu可以切换到其他线程去进行其他线程内的网络请求。
  •     我们期望一个线程处理一个url,所以实例化线程类的时候我们传了一个url。
  •     线程运行意味着执行类里的run()方法。
  •     无论如何我们想每个线程必须执行run()。
  •     为每个url创建一个线程并且调用start()方法,这告诉了cpu可以执行线程中的run()方法了。
  •     我们希望所有的线程执行完毕的时候再计算花费的时间,所以调用了join()方法。
  •     join()可以通知主线程等待这个线程结束后,才可以执行下一条指令。
  •     每个线程我们都调用了join()方法,所以我们是在所有线程执行完毕后计算的运行时间。

关于线程:

  •     cpu可能不会在调用start()后马上执行run()方法。
  •     你不能确定run()在不同线程建间的执行顺序。
  •     对于单独的一个线程,可以保证run()方法里的语句是按照顺序执行的。
  •     这就是因为线程内的url会首先被请求,然后打印出返回的结果。

实例2

我们将会用一个程序演示一下多线程间的资源竞争,并修复这个问题。
 

from threading import Thread
 
#define a global variable
some_var = 0
 
class IncrementThread(Thread):
 def run(self):
  #we want to read a global variable
  #and then increment it
  global some_var
  read_value = some_var
  print "some_var in %s is %d" % (self.name, read_value)
  some_var = read_value + 1
  print "some_var in %s after increment is %d" % (self.name, some_var)
 
def use_increment_thread():
 threads = []
 for i in range(50):
  t = IncrementThread()
  threads.append(t)
  t.start()
 for t in threads:
  t.join()
 print "After 50 modifications, some_var should have become 50"
 print "After 50 modifications, some_var is %d" % (some_var,)
 
use_increment_thread()

多次运行这个程序,你会看到多种不同的结果。

解释:

  •     有一个全局变量,所有的线程都想修改它。
  •     所有的线程应该在这个全局变量上加 1 。
  •     有50个线程,最后这个数值应该变成50,但是它却没有。

为什么没有达到50?

  •     在some_var是15的时候,线程t1读取了some_var,这个时刻cpu将控制权给了另一个线程t2。
  •     t2线程读到的some_var也是15
  •     t1和t2都把some_var加到16
  •     当时我们期望的是t1 t2两个线程使some_var + 2变成17
  •     在这里就有了资源竞争。
  •     相同的情况也可能发生在其它的线程间,所以出现了最后的结果小于50的情况。

解决资源竞争
 

from threading import Lock, Thread
lock = Lock()
some_var = 0
 
class IncrementThread(Thread):
 def run(self):
  #we want to read a global variable
  #and then increment it
  global some_var
  lock.acquire()
  read_value = some_var
  print "some_var in %s is %d" % (self.name, read_value)
  some_var = read_value + 1
  print "some_var in %s after increment is %d" % (self.name, some_var)
  lock.release()
 
def use_increment_thread():
 threads = []
 for i in range(50):
  t = IncrementThread()
  threads.append(t)
  t.start()
 for t in threads:
  t.join()
 print "After 50 modifications, some_var should have become 50"
 print "After 50 modifications, some_var is %d" % (some_var,)
 
use_increment_thread()

再次运行这个程序,达到了我们预期的结果。

解释:

  •     Lock 用来防止竞争条件
  •     如果在执行一些操作之前,线程t1获得了锁。其他的线程在t1释放Lock之前,不会执行相同的操作
  •     我们想要确定的是一旦线程t1已经读取了some_var,直到t1完成了修改some_var,其他的线程才可以读取some_var
  •     这样读取和修改some_var成了逻辑上的原子操作。

实例3

让我们用一个例子来证明一个线程不能影响其他线程内的变量(非全局变量)。

time.sleep()可以使一个线程挂起,强制线程切换发生。
 

from threading import Thread
import time
 
class CreateListThread(Thread):
 def run(self):
  self.entries = []
  for i in range(10):
   time.sleep(1)
   self.entries.append(i)
  print self.entries
 
def use_create_list_thread():
 for i in range(3):
  t = CreateListThread()
  t.start()
 
use_create_list_thread()

运行几次后发现并没有打印出争取的结果。当一个线程正在打印的时候,cpu切换到了另一个线程,所以产生了不正确的结果。我们需要确保print self.entries是个逻辑上的原子操作,以防打印时被其他线程打断。

我们使用了Lock(),来看下边的例子。
 

from threading import Thread, Lock
import time
 
lock = Lock()
 
class CreateListThread(Thread):
 def run(self):
  self.entries = []
  for i in range(10):
   time.sleep(1)
   self.entries.append(i)
  lock.acquire()
  print self.entries
  lock.release()
 
def use_create_list_thread():
 for i in range(3):
  t = CreateListThread()
  t.start()
use_create_list_thread()

这次我们看到了正确的结果。证明了一个线程不可以修改其他线程内部的变量(非全局变量)。

Python 相关文章推荐
用Python编写简单的微博爬虫
Mar 04 Python
简单讲解Python编程中namedtuple类的用法
Jun 21 Python
Python+Django搭建自己的blog网站
Mar 13 Python
python数字图像处理之高级形态学处理
Apr 27 Python
pycharm在调试python时执行其他语句的方法
Nov 29 Python
六行python代码的爱心曲线详解
May 17 Python
python-django中的APPEND_SLASH实现方法
Jun 21 Python
python pptx复制指定页的ppt教程
Feb 14 Python
如何把外网python虚拟环境迁移到内网
May 18 Python
Python读取yaml文件的详细教程
Jul 21 Python
python list的index()和find()的实现
Nov 16 Python
Django实现drf搜索过滤和排序过滤
Jun 21 Python
python BeautifulSoup设置页面编码的方法
Apr 03 #Python
用Python编写一个简单的FUSE文件系统的教程
Apr 02 #Python
用Python中的__slots__缓存资源以节省内存开销的方法
Apr 02 #Python
用Python的线程来解决生产者消费问题的示例
Apr 02 #Python
用实例分析Python中method的参数传递过程
Apr 02 #Python
使用优化器来提升Python程序的执行效率的教程
Apr 02 #Python
使用Python脚本对Linux服务器进行监控的教程
Apr 02 #Python
You might like
重量级动漫纷纷停播!唯独OVERLORD第四季正在英魂之刃继续更新
2020/05/06 日漫
php将图片保存入mysql数据库失败的解决方法
2014/12/27 PHP
PHP函数引用返回的实例详解
2016/09/11 PHP
PHP Include文件实例讲解
2019/02/15 PHP
javascript cookie解码函数(兼容ff)
2008/03/17 Javascript
JQ获取动态加载的图片大小的正确方法分享
2013/11/08 Javascript
iframe窗口高度自适应的又一个巧妙实现思路
2014/04/04 Javascript
JavaScript获取鼠标移动时的坐标(兼容IE8、chome谷歌、Firefox)
2014/09/13 Javascript
javascript实现表格排序 编辑 拖拽 缩放
2015/01/02 Javascript
jQuery获取样式中颜色值的方法
2015/01/29 Javascript
javascript实现获取指定精度的上传文件的大小简单实例
2016/10/25 Javascript
详解webpack-dev-server使用http-proxy解决跨域问题
2018/01/13 Javascript
vue2.0+vuex+localStorage代办事项应用实现详解
2018/05/31 Javascript
JavaScript new对象的四个过程实例浅析
2018/07/31 Javascript
Vue前后端不同端口的实现方法
2018/09/19 Javascript
vue+php实现的微博留言功能示例
2019/03/16 Javascript
微信小程序单选radio及多选checkbox按钮用法示例
2019/04/30 Javascript
教你30秒发布一个TypeScript包到NPM的方法步骤
2019/07/22 Javascript
使用Python的Tornado框架实现一个一对一聊天的程序
2015/04/25 Python
Python使用Mechanize模块编写爬虫的要点解析
2016/03/31 Python
Python使用三种方法实现PCA算法
2017/12/12 Python
Python设计模式之MVC模式简单示例
2018/01/10 Python
pygame游戏之旅 添加键盘按键的方法
2018/11/20 Python
numpy中的ndarray方法和属性详解
2019/05/27 Python
在Python中COM口的调用方法
2019/07/03 Python
django框架两个使用模板实例
2019/12/11 Python
python文件处理fileinput使用方法详解
2020/01/02 Python
Pytorch生成随机数Tensor的方法汇总
2020/09/09 Python
浅谈amaze-ui中datepicker和datetimepicker注意的几点
2020/08/21 HTML / CSS
全球最大的在线旅游公司:Expedia
2017/11/16 全球购物
JD Sports比利时官网:英国领先的运动鞋和运动服饰零售商
2018/10/10 全球购物
歌唱比赛策划方案
2014/06/06 职场文书
三方合作意向书范本
2015/05/09 职场文书
预备党员半年考察意见
2015/06/01 职场文书
Springboot如何同时装配两个相同类型数据库
2021/11/17 Java/Android
Python OpenCV超详细讲解读取图像视频和网络摄像头
2022/04/02 Python