首页
所有分类
TAGS
文字工具 EMOJI BIBLE
编程 Python

Python之多进程与多线程的使用

Posted in Python onFebruary 23, 2021

进程与线程

想象在学校的一个机房，有固定数量的电脑，老师安排了一个爬虫任务让大家一起完成，每个学生使用一台电脑爬取部分数据，将数据放到一个公共数据库。共同资源就像公共数据库，进程就像每一个学生，每多一个学生，就多一个进程来完成这个任务，机房里的电脑数量就像CPU，所以进程数量是CPU决定的，线程就像学生用一台电脑开多个爬虫，爬虫数量由每台电脑的运行内存决定。
一个CPU可以有多个进程，一个进程有一个或多个线程。

多进程

1、导包

from multiprocessing import Process

2、写两个任务
也就是两个函数

3、创建一个进程
进程名字 = Process(target=函数名字，函数参数传字典或元组，是否守护进程)

4、启动进程
进程名字.start()

5、是否开启进程守护，一般主进程会等待子进程执行完毕后再关闭程序。当我们想程序主进程跑完，直接销毁掉未完成的子进程，关闭程序的话，加上一句代码 ：
1.创建进程的时候传参数daemon=True
2.进程名字.daemon=True

6、进程编号
导包os
获取当前进程编号

os.getpid()

获取当前父进程的编号

os.getppid()

代码示例（未开启进程守护）

from multiprocessing import Process
import time
import os

# 一个写作业函数
def homeWork(name, count):
  for i in range(count):
    # 打印当前进程编号os.getpid()
    print("当前进程编号:", os.getpid())

    # 打印当前父进程编号os.getppid()
    print("当前父进程编号:", os.getppid())

    print(name, "正在写作业...")
    time.sleep(0.2)
# 一个打游戏函数
def game(name, count):
  for i in range(count):
    # 打印当前进程编号os.getpid()
    print("当前进程编号:", os.getpid())

    # 打印当前父进程编号os.getppid()
    print("当前父进程编号:", os.getppid())

    print(name, "正在打游戏...")
    time.sleep(0.2)

if __name__ == '__main__':
  # 打印当前进程编号os.getpid()
  print("当前进程编号:", os.getpid())

  # 进程1写作业 元组传参
  p1 = Process(target=homeWork, args=("进程1", 10))
  # 进程2打游戏 字典传参
  p2 = Process(target=game, kwargs={"name": "进程2", "count": 10})

  # 启动进程
  p1.start()
  p2.start()
  time.sleep(1)
  print("主进程结束---------------------------------------------")

未开启线程守护的运行结果：

 # 可以看到主进程结束的，其子进程还在继续
当前进程编号: 14972
当前进程编号: 5732
当前父进程编号: 14972
进程1 正在写作业...
当前进程编号: 14752
当前父进程编号: 14972
进程2 正在打游戏...
当前进程编号: 5732
当前父进程编号: 14972
进程1 正在写作业...
当前进程编号: 14752
当前父进程编号: 14972
进程2 正在打游戏...
当前进程编号: 5732
当前父进程编号: 14972
进程1 正在写作业...
当前进程编号: 14752
当前父进程编号: 14972
进程2 正在打游戏...
当前进程编号: 5732
当前父进程编号: 14972
进程1 正在写作业...
当前进程编号: 14752
当前父进程编号: 14972
进程2 正在打游戏...
主进程结束---------------------------------------------
当前进程编号: 5732
当前父进程编号: 14972
进程1 正在写作业...
当前进程编号: 14752
当前父进程编号: 14972
进程2 正在打游戏...
当前进程编号: 5732
当前父进程编号: 14972
进程1 正在写作业...
当前进程编号: 14752
当前父进程编号: 14972
进程2 正在打游戏...
当前进程编号: 5732
当前父进程编号: 14972
进程1 正在写作业...
当前进程编号: 14752
当前父进程编号: 14972
进程2 正在打游戏...
当前进程编号: 5732
当前父进程编号: 14972
进程1 正在写作业...
当前进程编号: 14752
当前父进程编号: 14972
进程2 正在打游戏...
当前进程编号: 5732
当前父进程编号: 14972
进程1 正在写作业...
当前进程编号: 14752
当前父进程编号: 14972
进程2 正在打游戏...
当前进程编号: 5732
当前父进程编号: 14972
进程1 正在写作业...
当前进程编号: 14752
当前父进程编号: 14972
进程2 正在打游戏...

Process finished with exit code 0

代码示例（开启进程守护）

from multiprocessing import Process
import time
import os

# 一个写作业函数
def homeWork(name, count):
  for i in range(count):
    # 打印当前进程编号os.getpid()
    print("当前进程编号:", os.getpid())

    # 打印当前父进程编号os.getppid()
    print("当前父进程编号:", os.getppid())

    print(name, "正在写作业...")
    time.sleep(0.2)
# 一个打游戏函数
def game(name, count):
  for i in range(count):
    # 打印当前进程编号os.getpid()
    print("当前进程编号:", os.getpid())

    # 打印当前父进程编号os.getppid()
    print("当前父进程编号:", os.getppid())

    print(name, "正在打游戏...")
    time.sleep(0.2)

if __name__ == '__main__':
  # 打印当前进程编号os.getpid()
  print("当前进程编号:", os.getpid())

  # 进程1写作业 元组传参 第一种方法启动进程守护
  p1 = Process(target=homeWork, args=("进程1", 10), daemon=True)
  # 进程2打游戏 字典传参
  p2 = Process(target=game, kwargs={"name": "进程2", "count": 10})
  # 第二种
  p2.daemon = True
  # 启动进程
  p1.start()
  p2.start()
  time.sleep(1)
  print("主进程---------------------------------------------")

开启进程守护的运行结果

当前进程编号: 372
当前进程编号: 10116
当前进程编号: 9860
当前父进程编号: 372
进程1 正在写作业...
当前父进程编号: 372
进程2 正在打游戏...
当前进程编号: 9860
当前进程编号: 10116
当前父进程编号: 372
进程2 正在打游戏...
当前父进程编号: 372
进程1 正在写作业...
当前进程编号: 9860
当前进程编号: 10116
当前父进程编号: 372
进程1 正在写作业...
当前父进程编号: 372
进程2 正在打游戏...
当前进程编号: 9860
当前进程编号: 10116
当前父进程编号: 372
进程1 正在写作业...
当前父进程编号: 372
进程2 正在打游戏...
主进程结束---------------------------------------------

Process finished with exit code 0

多线程

1、导包

import threading

2、写两个任务
也就是两个函数

3、创建一个线程
线程名字 = threading.Thread(target=函数名字，函数参数传字典或元组，是否守护进程)

4、启动线程
线程名字.start()

5、是否开启线程守护，一般当前程序会等待子线程执行完毕后再关闭程序。当我们想程序跑完，销毁掉未完成的子线程，直接关闭程序的话，加上一句代码 ：
1.创建线程的时候传参数daemon=True
2.线程名字.daemon=True

6、线程编号
获取当前线程编号

threading.current_thread()

代码示例（未开启进程守护）

import threading
import time

# 一个写作业函数
def homeWork(name, count):
  for i in range(count):
    # 打印当前线程
    print(threading.current_thread())
    print(name, "正在写作业...")
    time.sleep(0.2)
# 一个打游戏函数
def game(name, count):
  for i in range(count):
    # 打印当前线程
    print(threading.current_thread())
    print(name, "正在打游戏...")
    time.sleep(0.2)

if __name__ == '__main__':

  # 线程1写作业 元组传参
  t1 = threading.Thread(target=homeWork, args=("进程1", 10))
  # 线程2打游戏 字典传参
  t2 = threading.Thread(target=game, kwargs={"name": "进程2", "count": 10})

  # 启动进程
  t1.start()
  t2.start()
  time.sleep(1)
  print("主进程结束###################################################################################")

未开启线程守护的运行结果

 # 可以看到主进程结束的，其线程还在继续
<Thread(Thread-1, started 3364)>
进程1 正在写作业...
<Thread(Thread-2, started 9100)>
进程2 正在打游戏...
<Thread(Thread-2, started 9100)>
进程2 正在打游戏...
<Thread(Thread-1, started 3364)>
进程1 正在写作业...
<Thread(Thread-1, started 3364)>
进程1 正在写作业...
<Thread(Thread-2, started 9100)>
进程2 正在打游戏...
<Thread(Thread-2, started 9100)>
进程2 正在打游戏...
<Thread(Thread-1, started 3364)>
进程1 正在写作业...
<Thread(Thread-1, started 3364)>
进程1 正在写作业...
<Thread(Thread-2, started 9100)>
进程2 正在打游戏...
主进程结束###################################################################################
<Thread(Thread-2, started 9100)>
进程2 正在打游戏...
<Thread(Thread-1, started 3364)>
进程1 正在写作业...
<Thread(Thread-1, started 3364)>
<Thread(Thread-2, started 9100)>
进程2 正在打游戏...进程1
正在写作业...
<Thread(Thread-1, started 3364)>
进程1 正在写作业...
<Thread(Thread-2, started 9100)>
进程2 正在打游戏...
<Thread(Thread-2, started 9100)><Thread(Thread-1, started 3364)>
进程1
进程2正在写作业...
 正在打游戏...
<Thread(Thread-2, started 9100)><Thread(Thread-1, started 3364)>

进程2 进程1 正在打游戏...
正在写作业...

Process finished with exit code 0

代码示例（开启线程守护）

import threading
import time

# 一个写作业函数
def homeWork(name, count):
  for i in range(count):
    # 打印当前线程
    print(threading.current_thread())
    print(name, "正在写作业...")
    time.sleep(0.2)
# 一个打游戏函数
def game(name, count):
  for i in range(count):
    # 打印当前线程
    print(threading.current_thread())
    print(name, "正在打游戏...")
    time.sleep(0.2)

if __name__ == '__main__':

  # 线程1写作业 元组传参
  t1 = threading.Thread(target=homeWork, args=("进程1", 10), daemon=True)
  # 线程2打游戏 字典传参
  t2 = threading.Thread(target=game, kwargs={"name": "进程2", "count": 10})
  t2.daemon = True

  # 启动进程
  t1.start()
  t2.start()
  time.sleep(1)
  print("主进程结束###################################################################################")

开启线程守护的运行结果

<Thread(Thread-1, started daemon 15480)>
进程1 正在写作业...
<Thread(Thread-2, started daemon 13700)>
进程2 正在打游戏...
<Thread(Thread-2, started daemon 13700)>
进程2 正在打游戏...
<Thread(Thread-1, started daemon 15480)>
进程1 正在写作业...
<Thread(Thread-1, started daemon 15480)><Thread(Thread-2, started daemon 13700)>
进程1
进程2 正在写作业...正在打游戏...

<Thread(Thread-2, started daemon 13700)><Thread(Thread-1, started daemon 15480)>

进程1进程2 正在写作业... 正在打游戏...

<Thread(Thread-1, started daemon 15480)>
进程1 正在写作业...
<Thread(Thread-2, started daemon 13700)>
进程2 正在打游戏...
主进程结束###################################################################################

Process finished with exit code 0

到此这篇关于Python之多进程与多线程的使用的文章就介绍到这了,更多相关Python 多进程与多线程内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木！

Python之多进程与多线程的使用

- Author -

我不是秃头哆??咪

声明：登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述。

Python 相关文章推荐
用Python写的图片蜘蛛人代码
Aug 27 Python
python中实现php的var_dump函数功能
Jan 21 Python
python分析nignx访问日志脚本分享
Feb 26 Python
用Python进行一些简单的自然语言处理的教程
Mar 31 Python
Python字符串切片操作知识详解
Mar 28 Python
用Anaconda安装本地python包的方法及路径问题(图文)
Jul 16 Python
python批量修改ssh密码的实现
Aug 08 Python
Python K最近邻从原理到实现的方法
Aug 15 Python
阿里云ECS服务器部署django的方法
Aug 29 Python
django haystack实现全文检索的示例代码
Jun 24 Python
Selenium之模拟登录铁路12306的示例代码
Jul 31 Python
Python极值整数的边界探讨分析
Sep 15 Python
Python绘制词云图之可视化神器pyecharts的方法
Feb 23 #Python
matplotlib grid()设置网格线外观的实现
Feb 22 #Python
浅析python连接数据库的重要事项
Feb 22 #Python
python实现学生信息管理系统源码
Feb 22 #Python
python实现简单的学生管理系统
Feb 22 #Python
matplotlib之pyplot模块坐标轴标签设置使用(xlabel()、ylabel())
Feb 22 #Python
matplotlib之pyplot模块之标题（title()和suptitle()）
Feb 22 #Python
PHILIPS(3) ICF-SW55(1) 德生9700DX(1) ICF-SW7600GR(1) 松下(1) 飞利浦(2) 德劲1103(3) 德生PL330(2) Panasonic(1) L4X25T(1)
You might like
php与XML、XSLT、Mysql的结合运用实现代码
2009/11/19 PHP
PHP如何解决网站大流量与高并发的问题
2011/06/25 PHP
在php中判断一个请求是ajax请求还是普通请求的方法
2011/06/28 PHP
PHP性能优化大全(php.ini)
2016/05/20 PHP
jquery.ajax的url中传递中文乱码问题的解决方法
2014/02/07 Javascript
js动态拼接正则表达式的两种方法
2014/03/04 Javascript
Js数组排序函数sort()介绍
2015/06/08 Javascript
JS实现简单的图书馆享元模式实例
2015/06/30 Javascript
JavaScript代码性能优化总结(推荐)
2016/05/16 Javascript
AngularJS利用Controller完成URL跳转
2016/08/09 Javascript
Angular中$broadcast和$emit的使用方法详解
2017/05/22 Javascript
vue实现公共方法抽离
2020/07/31 Javascript
50行代码实现贪吃蛇(具体思路及代码)
2013/04/27 Python
Python连接mysql数据库的正确姿势
2016/02/03 Python
python+selenium+autoit实现文件上传功能
2017/08/23 Python
python reduce 函数使用详解
2017/12/05 Python
详解python之协程gevent模块
2018/06/14 Python
Python使用pandas处理CSV文件的实例讲解
2018/06/22 Python
解决Pandas的DataFrame输出截断和省略的问题
2019/02/08 Python
Python利用 utf-8-sig 编码格式解决写入 csv 文件乱码问题
2020/02/21 Python
Selenium使用Chrome模拟手机浏览器方法解析
2020/04/10 Python
python中的对数log函数表示及用法
2020/12/09 Python
Django后端按照日期查询的方法教程
2021/02/28 Python
英国排名第一的礼品体验公司：Red Letter Days
2018/08/16 全球购物
英国最全面的橄榄球联盟门票网站：Live Rugby Tickets
2018/10/06 全球购物
罗马尼亚购物网站：Vivantis.ro
2019/07/20 全球购物
泰国Robinson百货官网：购买知名品牌的商品
2020/02/08 全球购物
在C语言中实现抽象数据类型什么方法最好
2014/06/26 面试题
Linux的文件类型
2016/07/05 面试题
幼儿园园长自我鉴定
2013/10/22 职场文书
优秀毕业生推荐信
2013/11/02 职场文书
经典英文广告词
2014/03/18 职场文书
质量承诺书怎么写
2014/05/24 职场文书
令人印象深刻的自荐信
2014/05/25 职场文书
接收函
2019/04/22 职场文书
Android studio 简单计算器的编写
2022/05/20 Java/Android