对于Python中线程问题的简单讲解


Posted in Python onApril 03, 2015

我们将会看到一些在Python中使用线程的实例和如何避免线程之间的竞争。你应当将下边的例子运行多次,以便可以注意到线程是不可预测的和线程每次运行出的不同结果。声明:从这里开始忘掉你听到过的关于GIL的东西,因为GIL不会影响到我想要展示的东西。

示例1

我们将要请求五个不同的url:
单线程
 

import time
import urllib2
 
def get_responses():
 urls = [
  'http://www.google.com',
  'http://www.amazon.com',
  'http://www.ebay.com',
  'http://www.alibaba.com',
  'http://www.reddit.com'
 ]
 start = time.time()
 for url in urls:
  print url
  resp = urllib2.urlopen(url)
  print resp.getcode()
 print "Elapsed time: %s" % (time.time()-start)
 
get_responses()

输出是:
 

http://www.google.com 200
http://www.amazon.com 200
http://www.ebay.com 200
http://www.alibaba.com 200
http://www.reddit.com 200
Elapsed time: 3.0814409256

解释:

  •     url顺序的被请求
  •     除非cpu从一个url获得了回应,否则不会去请求下一个url
  •     网络请求会花费较长的时间,所以cpu在等待网络请求的返回时间内一直处于闲置状态。

多线程
 

import urllib2
import time
from threading import Thread
 
class GetUrlThread(Thread):
 def __init__(self, url):
  self.url = url
  super(GetUrlThread, self).__init__()
 
 def run(self):
  resp = urllib2.urlopen(self.url)
  print self.url, resp.getcode()
 
def get_responses():
 urls = [
  'http://www.google.com',
  'http://www.amazon.com',
  'http://www.ebay.com',
  'http://www.alibaba.com',
  'http://www.reddit.com'
 ]
 start = time.time()
 threads = []
 for url in urls:
  t = GetUrlThread(url)
  threads.append(t)
  t.start()
 for t in threads:
  t.join()
 print "Elapsed time: %s" % (time.time()-start)
 
get_responses()

输出:
 

http://www.reddit.com 200
http://www.google.com 200
http://www.amazon.com 200
http://www.alibaba.com 200
http://www.ebay.com 200
Elapsed time: 0.689890861511

解释:

  •     意识到了程序在执行时间上的提升
  •     我们写了一个多线程程序来减少cpu的等待时间,当我们在等待一个线程内的网络请求返回时,这时cpu可以切换到其他线程去进行其他线程内的网络请求。
  •     我们期望一个线程处理一个url,所以实例化线程类的时候我们传了一个url。
  •     线程运行意味着执行类里的run()方法。
  •     无论如何我们想每个线程必须执行run()。
  •     为每个url创建一个线程并且调用start()方法,这告诉了cpu可以执行线程中的run()方法了。
  •     我们希望所有的线程执行完毕的时候再计算花费的时间,所以调用了join()方法。
  •     join()可以通知主线程等待这个线程结束后,才可以执行下一条指令。
  •     每个线程我们都调用了join()方法,所以我们是在所有线程执行完毕后计算的运行时间。

关于线程:

  •     cpu可能不会在调用start()后马上执行run()方法。
  •     你不能确定run()在不同线程建间的执行顺序。
  •     对于单独的一个线程,可以保证run()方法里的语句是按照顺序执行的。
  •     这就是因为线程内的url会首先被请求,然后打印出返回的结果。

实例2

我们将会用一个程序演示一下多线程间的资源竞争,并修复这个问题。
 

from threading import Thread
 
#define a global variable
some_var = 0
 
class IncrementThread(Thread):
 def run(self):
  #we want to read a global variable
  #and then increment it
  global some_var
  read_value = some_var
  print "some_var in %s is %d" % (self.name, read_value)
  some_var = read_value + 1
  print "some_var in %s after increment is %d" % (self.name, some_var)
 
def use_increment_thread():
 threads = []
 for i in range(50):
  t = IncrementThread()
  threads.append(t)
  t.start()
 for t in threads:
  t.join()
 print "After 50 modifications, some_var should have become 50"
 print "After 50 modifications, some_var is %d" % (some_var,)
 
use_increment_thread()

多次运行这个程序,你会看到多种不同的结果。

解释:

  •     有一个全局变量,所有的线程都想修改它。
  •     所有的线程应该在这个全局变量上加 1 。
  •     有50个线程,最后这个数值应该变成50,但是它却没有。

为什么没有达到50?

  •     在some_var是15的时候,线程t1读取了some_var,这个时刻cpu将控制权给了另一个线程t2。
  •     t2线程读到的some_var也是15
  •     t1和t2都把some_var加到16
  •     当时我们期望的是t1 t2两个线程使some_var + 2变成17
  •     在这里就有了资源竞争。
  •     相同的情况也可能发生在其它的线程间,所以出现了最后的结果小于50的情况。

解决资源竞争
 

from threading import Lock, Thread
lock = Lock()
some_var = 0
 
class IncrementThread(Thread):
 def run(self):
  #we want to read a global variable
  #and then increment it
  global some_var
  lock.acquire()
  read_value = some_var
  print "some_var in %s is %d" % (self.name, read_value)
  some_var = read_value + 1
  print "some_var in %s after increment is %d" % (self.name, some_var)
  lock.release()
 
def use_increment_thread():
 threads = []
 for i in range(50):
  t = IncrementThread()
  threads.append(t)
  t.start()
 for t in threads:
  t.join()
 print "After 50 modifications, some_var should have become 50"
 print "After 50 modifications, some_var is %d" % (some_var,)
 
use_increment_thread()

再次运行这个程序,达到了我们预期的结果。

解释:

  •     Lock 用来防止竞争条件
  •     如果在执行一些操作之前,线程t1获得了锁。其他的线程在t1释放Lock之前,不会执行相同的操作
  •     我们想要确定的是一旦线程t1已经读取了some_var,直到t1完成了修改some_var,其他的线程才可以读取some_var
  •     这样读取和修改some_var成了逻辑上的原子操作。

实例3

让我们用一个例子来证明一个线程不能影响其他线程内的变量(非全局变量)。

time.sleep()可以使一个线程挂起,强制线程切换发生。
 

from threading import Thread
import time
 
class CreateListThread(Thread):
 def run(self):
  self.entries = []
  for i in range(10):
   time.sleep(1)
   self.entries.append(i)
  print self.entries
 
def use_create_list_thread():
 for i in range(3):
  t = CreateListThread()
  t.start()
 
use_create_list_thread()

运行几次后发现并没有打印出争取的结果。当一个线程正在打印的时候,cpu切换到了另一个线程,所以产生了不正确的结果。我们需要确保print self.entries是个逻辑上的原子操作,以防打印时被其他线程打断。

我们使用了Lock(),来看下边的例子。
 

from threading import Thread, Lock
import time
 
lock = Lock()
 
class CreateListThread(Thread):
 def run(self):
  self.entries = []
  for i in range(10):
   time.sleep(1)
   self.entries.append(i)
  lock.acquire()
  print self.entries
  lock.release()
 
def use_create_list_thread():
 for i in range(3):
  t = CreateListThread()
  t.start()
use_create_list_thread()

这次我们看到了正确的结果。证明了一个线程不可以修改其他线程内部的变量(非全局变量)。

Python 相关文章推荐
Python实现批量下载文件
May 17 Python
Python分支结构(switch)操作简介
Jan 17 Python
python绘制中国大陆人口热力图
Nov 07 Python
Selenium chrome配置代理Python版的方法
Nov 29 Python
pyqt弹出新对话框,以及关闭对话框获取数据的实例
Jun 18 Python
Python with用法:自动关闭文件进程
Jul 10 Python
Python中生成一个指定长度的随机字符串实现示例
Nov 06 Python
TensorFlow tf.nn.conv2d实现卷积的方式
Jan 03 Python
python_array[0][0]与array[0,0]的区别详解
Feb 18 Python
详解解决jupyter不能使用pytorch的问题
Feb 18 Python
Python实现文字pdf转换图片pdf效果
Apr 03 Python
python运行脚本文件的三种方法实例
Jun 25 Python
python BeautifulSoup设置页面编码的方法
Apr 03 #Python
用Python编写一个简单的FUSE文件系统的教程
Apr 02 #Python
用Python中的__slots__缓存资源以节省内存开销的方法
Apr 02 #Python
用Python的线程来解决生产者消费问题的示例
Apr 02 #Python
用实例分析Python中method的参数传递过程
Apr 02 #Python
使用优化器来提升Python程序的执行效率的教程
Apr 02 #Python
使用Python脚本对Linux服务器进行监控的教程
Apr 02 #Python
You might like
php 数组的创建、调用和更新实现代码
2009/03/09 PHP
PHP实现抓取Google IP并自动修改hosts文件
2015/02/12 PHP
显示js对象所有属性和方法的函数
2009/10/16 Javascript
jQuery '行 4954 错误: 不支持该属性或方法' 的问题解决方法
2011/01/19 Javascript
使用jquery.qrcode生成彩色二维码实例
2014/08/08 Javascript
jquery实现的缩略图预览滑块实例
2015/06/25 Javascript
jquery实现简单实用的弹出层效果代码
2015/10/15 Javascript
AngualrJS中的Directive制作一个菜单
2016/01/26 Javascript
JQuery用户名校验的具体实现
2016/03/18 Javascript
JS button按钮实现submit按钮提交效果
2016/11/01 Javascript
微信小程序 form组件详解及简单实例
2017/01/10 Javascript
JavaScript实现自动跳转文本功能
2017/05/25 Javascript
Angular模板表单校验方法详解
2017/08/11 Javascript
JS实现不用中间变量temp 实现两个变量值得交换方法
2018/02/04 Javascript
vue-music 使用better-scroll遇到轮播图不能自动轮播问题
2018/12/03 Javascript
Vue 中使用富文本编译器wangEditor3的方法
2019/09/26 Javascript
简单使用webpack打包文件的实现
2019/10/29 Javascript
js 解析 JSON 数据简单示例
2020/04/21 Javascript
区分vue-router的hash和history模式
2020/10/03 Javascript
[25:45]2018DOTA2亚洲邀请赛4.5SOLO赛 Sylar vs Paparazi
2018/04/06 DOTA
[01:03:22]LGD vs OG 2018国际邀请赛淘汰赛BO3 第一场 8.25
2018/08/29 DOTA
[01:33:25]DOTA2-DPC中国联赛 正赛 Elephant vs IG BO3 第一场 1月24日
2021/03/11 DOTA
python登录QQ邮箱发信的实现代码
2013/02/10 Python
Python利用ansible分发处理任务
2015/08/04 Python
Python使用pymysql小技巧
2017/06/04 Python
详解python中的线程与线程池
2019/05/10 Python
用python3 返回鼠标位置的实现方法(带界面)
2019/07/05 Python
Pycharm内置终端及远程SSH工具的使用教程图文详解
2020/03/19 Python
django 数据库 get_or_create函数返回值是tuple的问题
2020/05/15 Python
巴西服装和鞋子购物网站:Marisa
2018/10/25 全球购物
求职推荐信
2013/10/28 职场文书
敬老院标语
2014/06/27 职场文书
婚礼父母致辞
2015/07/28 职场文书
超市店长竞聘书
2015/09/15 职场文书
Qt自定义Plot实现曲线绘制的详细过程
2021/11/02 Python
十大最强奥特曼武器:怪兽战斗仪在榜,第五奥特之父只使用过一次
2022/03/18 日漫