keras tensorflow 实现在python下多进程运行


Posted in Python onFebruary 06, 2020

如下所示:

from multiprocessing import Process
import os
 
 
def training_function(...):
 import keras # 此处需要在子进程中
 ...
 
if __name__ == '__main__':
 p = Process(target=training_function, args=(...,))
 p.start()

原文地址:https://stackoverflow.com/questions/42504669/keras-tensorflow-and-multiprocessing-in-python

1、DO NOT LOAD KERAS TO YOUR MAIN ENVIRONMENT. If you want to load Keras / Theano / TensorFlow do it only in the function environment. E.g. don't do this:

import keras
 
def training_function(...):
 ...

but do the following:

def training_function(...):
 import keras
 ...

Run work connected with each model in a separate process: I'm usually creating workers which are making the job (like e.g. training, tuning, scoring) and I'm running them in separate processes. What is nice about it that whole memory used by this process is completely freedwhen your process is done. This helps you with loads of memory problems which you usually come across when you are using multiprocessing or even running multiple models in one process. So this looks e.g. like this:

def _training_worker(train_params):
 import keras
 model = obtain_model(train_params)
 model.fit(train_params)
 send_message_to_main_process(...)
 
def train_new_model(train_params):
 training_process = multiprocessing.Process(target=_training_worker, args = train_params)
 training_process.start()
 get_message_from_training_process(...)
 training_process.join()

Different approach is simply preparing different scripts for different model actions. But this may cause memory errors especially when your models are memory consuming. NOTE that due to this reason it's better to make your execution strictly sequential.

以上这篇keras tensorflow 实现在python下多进程运行就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python 文件操作删除某行的实例
Sep 04 Python
Python使用pickle模块存储数据报错解决示例代码
Jan 26 Python
python链接oracle数据库以及数据库的增删改查实例
Jan 30 Python
Python使用cx_Freeze库生成msi格式安装文件的方法
Jul 10 Python
Python开发最牛逼的IDE——pycharm
Aug 01 Python
在Python中pandas.DataFrame重置索引名称的实例
Nov 06 Python
python3.7 sys模块的具体使用
Jul 22 Python
使用python代码进行身份证号校验的实现示例
Nov 21 Python
Python3自动生成MySQL数据字典的markdown文本的实现
May 07 Python
浅析Python迭代器的高级用法
Jul 16 Python
python实现xml转json文件的示例代码
Dec 30 Python
Python常用配置文件ini、json、yaml读写总结
Jul 09 Python
Scrapy框架实现的登录网站操作示例
Feb 06 #Python
Tensorflow 多线程设置方式
Feb 06 #Python
Scrapy框架基本命令与settings.py设置
Feb 06 #Python
python opencv圆、椭圆与任意多边形的绘制实例详解
Feb 06 #Python
Python输出指定字符串的方法
Feb 06 #Python
python实现简单飞行棋
Feb 06 #Python
python实现飞行棋游戏
Feb 05 #Python
You might like
Win7 64位系统下PHP连接Oracle数据库
2014/08/20 PHP
PHP文件缓存smarty模板应用实例分析
2016/02/26 PHP
php使用fullcalendar日历插件详解
2019/03/06 PHP
PHP商品秒杀问题解决方案实例详解【mysql与redis】
2019/07/22 PHP
浅谈laravel-admin form中的数据,在提交后,保存前,获取并进行编辑
2019/10/21 PHP
jquery remove方法应用详解
2012/11/22 Javascript
打造个性化的功能强大的Jquery虚拟键盘(VirtualKeyboard)
2014/10/11 Javascript
JavaScript数据结构之二叉树的计数算法示例
2017/04/13 Javascript
Javascript实现页面滚动时导航智能定位
2017/05/06 Javascript
微信小程序picker组件简单用法示例【附demo源码下载】
2017/12/05 Javascript
JavaScript中EventLoop介绍
2018/01/22 Javascript
jQuery常见的遍历DOM操作详解
2018/09/05 jQuery
angular4笔记系列之内置指令小结
2018/11/09 Javascript
ES6之Proxy的get方法详解
2019/10/11 Javascript
JavaScript Window浏览器对象模型原理解析
2020/05/30 Javascript
利用JavaScript为句子加标题的3种方法示例
2021/01/05 Javascript
python中的代码编码格式转换问题
2015/06/10 Python
python中MethodType方法介绍与使用示例
2017/08/03 Python
python 3.6.7实现端口扫描器
2019/09/04 Python
决策树剪枝算法的python实现方法详解
2019/09/18 Python
详解Python绘图Turtle库
2019/10/12 Python
Python类型转换的魔术方法详解
2020/12/23 Python
可自定义箭头样式的CSS3气泡提示框
2016/03/16 HTML / CSS
美国性感女装网站:bebe
2017/03/04 全球购物
将时尚融入珠宝:Adornmonde
2019/10/17 全球购物
第一范式(1NF)、第二范式(2NF)和第三范式(3NF)之间的区别是什么?
2016/04/28 面试题
力学专业毕业生自荐信
2013/11/17 职场文书
党委班子纠正“四风”问题整改措施
2014/10/28 职场文书
论文答辩开场白大全
2015/05/27 职场文书
国情备忘录观后感
2015/06/04 职场文书
步步惊心观后感
2015/06/12 职场文书
如何制定一份可行的计划!
2019/06/21 职场文书
Memcached介绍及php-memcache扩展安装
2021/04/01 PHP
给原生html中添加水印遮罩层的实现示例
2021/04/02 Javascript
Golang二维数组的使用方式
2021/05/28 Golang
Python办公自动化解决world文件批量转换
2021/09/15 Python