Python控制多进程与多线程并发数总结


Posted in Python onOctober 26, 2016

一、前言

本来写了脚本用于暴力破解密码,可是1秒钟尝试一个密码2220000个密码我的天,想用多线程可是只会一个for全开,难道开2220000个线程吗?只好学习控制线程数了,官方文档不好看,觉得结构不够清晰,网上找很多文章也都不很清晰,只有for全开线程,没有控制线程数的具体说明,最终终于根据多篇文章和官方文档算是搞明白基础的多线程怎么实现法了,怕长时间不用又忘记,找着麻烦就贴这了,跟我一样新手也可以参照参照。

先说进程和线程的区别:

  1. 地址空间:进程内的一个执行单元;进程至少有一个线程;它们共享进程的地址空间;而进程有自己独立的地址空间;
  2. 资源拥有:进程是资源分配和拥有的单位,同一个进程内的线程共享进程的资源
  3. 线程是处理器调度的基本单位,但进程不是.
  4. 二者均可并发执行.

不能理解的话简单打比方就是一个进程就像一个程序一样,并发互不干扰。一个进程靠一个或多个线程执行处理,并发的线程是cpu在不停的来回切换执行,当然是快到你感觉不出的。

拿上面我遇到的困难来说吧,大量的数据需要执行相同的处理,一个操作中间可能会有一些等待时间,一个一个执行浪费大量时间,那么就同时执行吧,我们可以用两种并行办法:

进程并行或者线程并行

各有优缺点,要看情况,不是绝对的,在此不讨论这个,这引出下面两种Python并行处理方法(注释感觉很清晰详细了,不再多说)

二、进程处理方法

#coding:utf-8
import random
from time import sleep
import sys
import multiprocessing
import os
#
#需求分析:有大批量数据需要执行,而且是重复一个函数操作(例如爆破密码),如果全部开始线程数N多,这里控制住线程数m个并行执行,其他等待
#
lock=multiprocessing.Lock()#一个锁
def a(x):#模拟需要重复执行的函数
  lock.acquire()#输出时候上锁,否则进程同时输出时候会混乱,不可读
  print '开始进程:',os.getpid(),'模拟进程时间:',x
  lock.release()
  
  sleep(x)#模拟执行操作
  
  lock.acquire()
  print '结束进程:',os.getpid(),'预测下一个进程启动会使用该进程号'
  lock.release()
list=[]
for i in range(10):#产生一个随机数数组,模拟每次调用函数需要的输入,这里模拟总共有10组需要处理
  list.append(random.randint(1,10))
  
pool=multiprocessing.Pool(processes=3)#限制并行进程数为3
pool.map(a,list)#创建进程池,调用函数a,传入参数为list,此参数必须是一个可迭代对象,因为map是在迭代创建每个进程

输出:

Python控制多进程与多线程并发数总结

三、线程处理方法:

#coding:utf-8
import threading
import random
import Queue
from time import sleep
import sys
#
#需求分析:有大批量数据需要执行,而且是重复一个函数操作(例如爆破密码),如果全部开始线程数N多,这里控制住线程数m个并行执行,其他等待
#
#继承一个Thread类,在run方法中进行需要重复的单个函数操作
class Test(threading.Thread):
  def __init__(self,queue,lock,num):
    #传递一个队列queue和线程锁,并行数
    threading.Thread.__init__(self)
    self.queue=queue
    self.lock=lock
    self.num=num
  def run(self):
    #while True:#不使用threading.Semaphore,直接开始所有线程,程序执行完毕线程都还不死,最后的print threading.enumerate()可以看出
    with self.num:#同时并行指定的线程数量,执行完毕一个则死掉一个线程
      #以下为需要重复的单次函数操作
      n=self.queue.get()#等待队列进入
      lock.acquire()#锁住线程,防止同时输出造成混乱
      print '开始一个线程:',self.name,'模拟的执行时间:',n
      print '队列剩余:',queue.qsize()
      print threading.enumerate()
      lock.release()
      sleep(n)#执行单次操作,这里sleep模拟执行过程
      self.queue.task_done()#发出此队列完成信号
threads=[]
queue=Queue.Queue()
lock=threading.Lock()
num=threading.Semaphore(3)#设置同时执行的线程数为3,其他等待执行
#启动所有线程
for i in range(10):#总共需要执行的次数
  t=Test(queue,lock,num)
  t.start()
  threads.append(t)
  #吧队列传入线程,是run结束等待开始执行,放下面单独一个for也行,这里少个循环吧
  n=random.randint(1,10)
  queue.put(n)#模拟执行函数的逐个不同输入
#吧队列传入线程,是run结束等待开始执行
#for t in threads:
#  n=random.randint(1,10)
#  queue.put(n)
#等待线程执行完毕
for t in threads:
  t.join()
queue.join()#等待队列执行完毕才继续执行,否则下面语句会在线程未接受就开始执行
print '所有执行完毕'
print threading.active_count()
print threading.enumerate()

输出:

Python控制多进程与多线程并发数总结

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python中实现从目录中过滤出指定文件类型的文件
Feb 02 Python
python发送HTTP请求的方法小结
Jul 08 Python
python3+PyQt5图形项的自定义和交互 python3实现page Designer应用程序
Jul 20 Python
使用python读取.text文件特定行的数据方法
Jan 28 Python
使用pyshp包进行shapefile文件修改的例子
Dec 06 Python
Python数据持久化存储实现方法分析
Dec 21 Python
tensorboard 可以显示graph,却不能显示scalar的解决方式
Feb 15 Python
Python序列化pickle模块使用详解
Mar 05 Python
Python 批量读取文件中指定字符的实现
Mar 06 Python
Python 通过正则表达式快速获取电影的下载地址
Aug 17 Python
python Protobuf定义消息类型知识点讲解
Mar 02 Python
python基础之停用词过滤详解
Apr 21 Python
Python网络爬虫项目:内容提取器的定义
Oct 25 #Python
Python实现ssh批量登录并执行命令
Oct 25 #Python
详解Python的Lambda函数与排序
Oct 25 #Python
Python脚本实现Web漏洞扫描工具
Oct 25 #Python
python+django快速实现文件上传
Oct 24 #Python
python实现简单爬虫功能的示例
Oct 24 #Python
简单谈谈Python中的反转字符串问题
Oct 24 #Python
You might like
php jquery 实现新闻标签分类与无刷新分页
2009/12/18 PHP
PHP中exec与system用法区别分析
2014/09/22 PHP
编写PHP脚本清除WordPress头部冗余代码的方法讲解
2016/03/01 PHP
php简单实现短网址(短链)还原的方法(测试可用)
2016/05/09 PHP
php加密之discuz内容经典加密方式实例详解
2017/02/04 PHP
PHP操作Redis常用命令的实例详解
2020/12/23 PHP
网页常用特效代码整理
2006/06/23 Javascript
来自chinaz的ajax获取评论代码
2008/05/03 Javascript
jQuery 学习6 操纵元素显示效果的函数
2010/02/07 Javascript
js null,undefined,字符串小结
2010/08/21 Javascript
function foo的原型与prototype属性解惑
2010/11/19 Javascript
JavaScript之appendChild、insertBefore和insertAfter使用说明
2010/12/30 Javascript
关于window.pageYOffset和document.documentElement.scrollTop
2011/04/05 Javascript
javascript中怎么做对象的类型判断
2013/11/11 Javascript
jquery鼠标放上去显示悬浮层即弹出定位的div层
2014/04/25 Javascript
javascript与css3动画结合使用小结
2015/03/11 Javascript
jquery使用经验小结
2015/05/20 Javascript
详解Angualr 组件间通信
2017/01/21 Javascript
纯jQuery实现前端分页功能
2017/03/23 jQuery
jQuery实现返回顶部按钮和scroll滚动功能[带动画效果]
2017/07/05 jQuery
利用js将ajax获取到的后台数据动态加载至网页中的方法
2018/08/08 Javascript
详解jQuery设置内容和属性
2019/04/11 jQuery
nodejs实现百度舆情接口应用示例
2020/02/07 NodeJs
ElementUI 修改默认样式的几种办法(小结)
2020/07/29 Javascript
JQuery绑定事件四种实现方法解析
2020/12/02 jQuery
[50:15]VP vs Mineski 2018国际邀请赛淘汰赛BO3 第二场 8.22
2018/08/23 DOTA
python基础教程之对象和类的实际运用
2014/08/29 Python
浅谈Python用QQ邮箱发送邮件时授权码的问题
2018/01/29 Python
用scikit-learn和pandas学习线性回归的方法
2019/06/21 Python
python多线程共享变量的使用和效率方法
2019/07/16 Python
Python selenium模拟手动操作实现无人值守刷积分功能
2020/05/13 Python
Python自动创建Excel并获取内容
2020/09/16 Python
css3实例教程 一款纯css3实现的发光屏幕旋转特效
2014/12/07 HTML / CSS
HTML5 自动聚焦(autofocus)属性使用介绍
2013/08/07 HTML / CSS
2014大学生学生会工作总结
2014/12/19 职场文书
2016新年慰问信范文
2015/03/25 职场文书