keras tensorflow 实现在python下多进程运行


Posted in Python onFebruary 06, 2020

如下所示:

from multiprocessing import Process
import os
 
 
def training_function(...):
 import keras # 此处需要在子进程中
 ...
 
if __name__ == '__main__':
 p = Process(target=training_function, args=(...,))
 p.start()

原文地址:https://stackoverflow.com/questions/42504669/keras-tensorflow-and-multiprocessing-in-python

1、DO NOT LOAD KERAS TO YOUR MAIN ENVIRONMENT. If you want to load Keras / Theano / TensorFlow do it only in the function environment. E.g. don't do this:

import keras
 
def training_function(...):
 ...

but do the following:

def training_function(...):
 import keras
 ...

Run work connected with each model in a separate process: I'm usually creating workers which are making the job (like e.g. training, tuning, scoring) and I'm running them in separate processes. What is nice about it that whole memory used by this process is completely freedwhen your process is done. This helps you with loads of memory problems which you usually come across when you are using multiprocessing or even running multiple models in one process. So this looks e.g. like this:

def _training_worker(train_params):
 import keras
 model = obtain_model(train_params)
 model.fit(train_params)
 send_message_to_main_process(...)
 
def train_new_model(train_params):
 training_process = multiprocessing.Process(target=_training_worker, args = train_params)
 training_process.start()
 get_message_from_training_process(...)
 training_process.join()

Different approach is simply preparing different scripts for different model actions. But this may cause memory errors especially when your models are memory consuming. NOTE that due to this reason it's better to make your execution strictly sequential.

以上这篇keras tensorflow 实现在python下多进程运行就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
跟老齐学Python之关于循环的小伎俩
Oct 02 Python
python标准算法实现数组全排列的方法
Mar 17 Python
Python与shell的3种交互方式介绍
Apr 11 Python
编写Python CGI脚本的教程
Jun 29 Python
python使用psutil模块获取系统状态
Aug 27 Python
python 禁止函数修改列表的实现方法
Aug 03 Python
Python设计模式之观察者模式简单示例
Jan 10 Python
python3实现多线程聊天室
Dec 12 Python
python对csv文件追加写入列的方法
Aug 01 Python
用python的turtle模块实现给女票画个小心心
Nov 23 Python
python3中sys.argv的实例用法
Apr 24 Python
python实现图像随机裁剪的示例代码
Dec 10 Python
Scrapy框架实现的登录网站操作示例
Feb 06 #Python
Tensorflow 多线程设置方式
Feb 06 #Python
Scrapy框架基本命令与settings.py设置
Feb 06 #Python
python opencv圆、椭圆与任意多边形的绘制实例详解
Feb 06 #Python
Python输出指定字符串的方法
Feb 06 #Python
python实现简单飞行棋
Feb 06 #Python
python实现飞行棋游戏
Feb 05 #Python
You might like
收音机频率指针指示不准确和灵敏度低问题
2021/03/02 无线电
php面向对象全攻略 (十六) 对象的串行化
2009/09/30 PHP
PHP中的静态变量及static静态变量使用详解
2015/11/05 PHP
php 使用fopen函数创建、打开文件详解及实例代码
2016/09/24 PHP
PHP PDOStatement::nextRowset讲解
2019/02/01 PHP
PHP html_entity_decode()函数讲解
2019/02/25 PHP
PHP数组对象与Json转换操作实例分析
2019/10/22 PHP
Laravel 集成微信用户登录和绑定的实现
2019/12/27 PHP
JavaScript判断DOM何时加载完毕的技巧
2012/11/11 Javascript
javascript使用百度地图api和html5特性获取浏览器位置
2014/01/10 Javascript
在WordPress中加入Google搜索功能的简单步骤讲解
2016/01/04 Javascript
javaScript给元素添加多个class的简单实现
2016/07/20 Javascript
Javascript的this用法
2017/01/16 Javascript
解决Vue+Electron下Vuex的Dispatch没有效果问题
2019/05/20 Javascript
详解如何在Vue项目中发送jsonp请求
2019/10/25 Javascript
Vue 使用beforeEach实现登录状态检查功能
2019/10/31 Javascript
实例分析JS中的相等性判断===、 ==和Object.is()
2019/11/17 Javascript
一篇文章让你搞懂JavaScript 原型和原型链
2020/11/23 Javascript
python聊天程序实例代码分享
2013/11/18 Python
基于wxpython开发的简单gui计算器实例
2015/05/30 Python
python导入csv文件出现SyntaxError问题分析
2017/12/15 Python
Python设计模式之代理模式简单示例
2018/01/09 Python
python单向链表的基本实现与使用方法【定义、遍历、添加、删除、查找等】
2019/10/24 Python
python单例模式原理与创建方法实例分析
2019/10/26 Python
三个python爬虫项目实例代码
2019/12/28 Python
Python matplotlib修改默认字体的操作
2020/03/05 Python
Python numpy多维数组实现原理详解
2020/03/10 Python
Python和Bash结合在一起的方法
2020/11/13 Python
墨西哥购物网站:Elektra
2020/01/21 全球购物
空乘英文求职信
2014/04/13 职场文书
关于成绩下滑的自我检讨书
2014/09/20 职场文书
民事赔偿协议书
2014/11/02 职场文书
护士实习自荐信
2015/03/06 职场文书
2019年七夕情人节浪漫祝福语大全!
2019/08/08 职场文书
canvas绘制折线路径动画实现
2021/05/12 Javascript
pandas 实现将NaN转换为None
2021/05/14 Python