Python控制多进程与多线程并发数总结


Posted in Python onOctober 26, 2016

一、前言

本来写了脚本用于暴力破解密码,可是1秒钟尝试一个密码2220000个密码我的天,想用多线程可是只会一个for全开,难道开2220000个线程吗?只好学习控制线程数了,官方文档不好看,觉得结构不够清晰,网上找很多文章也都不很清晰,只有for全开线程,没有控制线程数的具体说明,最终终于根据多篇文章和官方文档算是搞明白基础的多线程怎么实现法了,怕长时间不用又忘记,找着麻烦就贴这了,跟我一样新手也可以参照参照。

先说进程和线程的区别:

  1. 地址空间:进程内的一个执行单元;进程至少有一个线程;它们共享进程的地址空间;而进程有自己独立的地址空间;
  2. 资源拥有:进程是资源分配和拥有的单位,同一个进程内的线程共享进程的资源
  3. 线程是处理器调度的基本单位,但进程不是.
  4. 二者均可并发执行.

不能理解的话简单打比方就是一个进程就像一个程序一样,并发互不干扰。一个进程靠一个或多个线程执行处理,并发的线程是cpu在不停的来回切换执行,当然是快到你感觉不出的。

拿上面我遇到的困难来说吧,大量的数据需要执行相同的处理,一个操作中间可能会有一些等待时间,一个一个执行浪费大量时间,那么就同时执行吧,我们可以用两种并行办法:

进程并行或者线程并行

各有优缺点,要看情况,不是绝对的,在此不讨论这个,这引出下面两种Python并行处理方法(注释感觉很清晰详细了,不再多说)

二、进程处理方法

#coding:utf-8
import random
from time import sleep
import sys
import multiprocessing
import os
#
#需求分析:有大批量数据需要执行,而且是重复一个函数操作(例如爆破密码),如果全部开始线程数N多,这里控制住线程数m个并行执行,其他等待
#
lock=multiprocessing.Lock()#一个锁
def a(x):#模拟需要重复执行的函数
  lock.acquire()#输出时候上锁,否则进程同时输出时候会混乱,不可读
  print '开始进程:',os.getpid(),'模拟进程时间:',x
  lock.release()
  
  sleep(x)#模拟执行操作
  
  lock.acquire()
  print '结束进程:',os.getpid(),'预测下一个进程启动会使用该进程号'
  lock.release()
list=[]
for i in range(10):#产生一个随机数数组,模拟每次调用函数需要的输入,这里模拟总共有10组需要处理
  list.append(random.randint(1,10))
  
pool=multiprocessing.Pool(processes=3)#限制并行进程数为3
pool.map(a,list)#创建进程池,调用函数a,传入参数为list,此参数必须是一个可迭代对象,因为map是在迭代创建每个进程

输出:

Python控制多进程与多线程并发数总结

三、线程处理方法:

#coding:utf-8
import threading
import random
import Queue
from time import sleep
import sys
#
#需求分析:有大批量数据需要执行,而且是重复一个函数操作(例如爆破密码),如果全部开始线程数N多,这里控制住线程数m个并行执行,其他等待
#
#继承一个Thread类,在run方法中进行需要重复的单个函数操作
class Test(threading.Thread):
  def __init__(self,queue,lock,num):
    #传递一个队列queue和线程锁,并行数
    threading.Thread.__init__(self)
    self.queue=queue
    self.lock=lock
    self.num=num
  def run(self):
    #while True:#不使用threading.Semaphore,直接开始所有线程,程序执行完毕线程都还不死,最后的print threading.enumerate()可以看出
    with self.num:#同时并行指定的线程数量,执行完毕一个则死掉一个线程
      #以下为需要重复的单次函数操作
      n=self.queue.get()#等待队列进入
      lock.acquire()#锁住线程,防止同时输出造成混乱
      print '开始一个线程:',self.name,'模拟的执行时间:',n
      print '队列剩余:',queue.qsize()
      print threading.enumerate()
      lock.release()
      sleep(n)#执行单次操作,这里sleep模拟执行过程
      self.queue.task_done()#发出此队列完成信号
threads=[]
queue=Queue.Queue()
lock=threading.Lock()
num=threading.Semaphore(3)#设置同时执行的线程数为3,其他等待执行
#启动所有线程
for i in range(10):#总共需要执行的次数
  t=Test(queue,lock,num)
  t.start()
  threads.append(t)
  #吧队列传入线程,是run结束等待开始执行,放下面单独一个for也行,这里少个循环吧
  n=random.randint(1,10)
  queue.put(n)#模拟执行函数的逐个不同输入
#吧队列传入线程,是run结束等待开始执行
#for t in threads:
#  n=random.randint(1,10)
#  queue.put(n)
#等待线程执行完毕
for t in threads:
  t.join()
queue.join()#等待队列执行完毕才继续执行,否则下面语句会在线程未接受就开始执行
print '所有执行完毕'
print threading.active_count()
print threading.enumerate()

输出:

Python控制多进程与多线程并发数总结

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
在Docker上部署Python的Flask框架的教程
Apr 08 Python
Python中的rfind()方法使用详解
May 19 Python
zookeeper python接口实例详解
Jan 18 Python
Django 跨域请求处理的示例代码
May 02 Python
Pandas中DataFrame的分组/分割/合并的实现
Jul 16 Python
Python产生一个数值范围内的不重复的随机数的实现方法
Aug 21 Python
如何使用Python发送HTML格式的邮件
Feb 11 Python
Python多线程多进程实例对比解析
Mar 12 Python
关于PyCharm安装后修改路径名称使其可重新打开的问题
Oct 20 Python
python实现数学模型(插值、拟合和微分方程)
Nov 13 Python
详解Scrapy Redis入门实战
Nov 18 Python
Python数据分析之绘图和可视化详解
Jun 02 Python
Python网络爬虫项目:内容提取器的定义
Oct 25 #Python
Python实现ssh批量登录并执行命令
Oct 25 #Python
详解Python的Lambda函数与排序
Oct 25 #Python
Python脚本实现Web漏洞扫描工具
Oct 25 #Python
python+django快速实现文件上传
Oct 24 #Python
python实现简单爬虫功能的示例
Oct 24 #Python
简单谈谈Python中的反转字符串问题
Oct 24 #Python
You might like
基于asp+ajax和数据库驱动的二级联动菜单
2010/05/06 PHP
php操作mongoDB实例分析
2014/12/29 PHP
Yii2中DropDownList简单用法示例
2016/07/18 PHP
PHP计算近1年的所有月份
2017/03/13 PHP
js onpropertychange输入框 事件获取属性
2009/03/26 Javascript
jQuery与其它库冲突的解决方法
2010/06/25 Javascript
jQuery EasyUI API 中文文档 - ComboGrid 组合表格
2011/10/13 Javascript
使用JavaScript实现网页版Pongo设计思路及源代码分享
2014/06/16 Javascript
JS动态修改表格cellPadding和cellSpacing的方法
2015/03/31 Javascript
JavaScript实现简单的二级导航菜单实例
2015/04/15 Javascript
详解JavaScript基于面向对象之继承实例
2015/12/16 Javascript
JS实现保留n位小数的四舍五入问题示例
2016/08/03 Javascript
浅谈javascript:两种注释,声明变量,定义函数
2016/10/05 Javascript
vue实现ToDoList简单实例
2017/02/07 Javascript
Angularjs实现上传图片预览功能
2017/09/01 Javascript
详解nodeJs文件系统(fs)与流(stream)
2018/01/24 NodeJs
JS/jQuery实现DIV延时几秒后消失或显示的方法
2018/02/12 jQuery
微信小程序input框中加入小图标的实现方法
2018/06/19 Javascript
原生js代码能实现call和bind吗
2019/07/31 Javascript
JS实现滑动拼图验证功能完整示例
2020/03/29 Javascript
Python的迭代器和生成器
2015/07/29 Python
python对html过滤处理的方法
2018/10/21 Python
浅谈python3.x pool.map()方法的实质
2019/01/16 Python
使用Python制作简单的小程序IP查看器功能
2019/04/16 Python
基于python分析你的上网行为 看看你平时上网都在干嘛
2019/08/13 Python
python2爬取百度贴吧指定关键字和图片代码实例
2019/08/14 Python
pymysql的简单封装代码实例
2020/01/08 Python
pandas中ix的使用详细讲解
2020/03/09 Python
浅谈PyTorch中in-place operation的含义
2020/06/27 Python
C语言中一个结构不能包含指向自己的指针吗
2012/05/25 面试题
2014年计算机专业个人自我评价
2014/01/19 职场文书
仓库文员岗位职责
2014/04/06 职场文书
条幅标语大全
2014/06/20 职场文书
公路局群众路线教育实践活动第一阶段工作汇报
2014/10/25 职场文书
雷锋电影观后感
2015/06/10 职场文书
mysql 体系结构和存储引擎介绍
2022/05/06 MySQL