jupyter notebook参数化运行python方式


Posted in Python onApril 10, 2020

Updates

(2019.8.14 19:53)吃饭前用这个方法实战了一下,吃完回来一看好像不太行:跑完一组参数之后,到跑下一组参数时好像没有释放之占用的 GPU,于是 notebook 上的结果,后面好几条都报错说 cuda out of memory。

现在改成:将 notebook 中的代码写在一个 python 文件中,然后用命令行运行这个文件,比如:

# autorun.py
import os
# print(os.getcwd())

over = [ # 之前手工改参数跑完的参数组合
 [0, 1, 1], [0, 1, 2], [0, 1, 3],
 [0, 2, 1],
 [1, 0, 1],
 [1, 2, 1]
]

for alpha in range(1, 4, 1):
 for beta in range(3):
  for gamma in range(3):
   if [alpha, beta, gamma] in over:
    continue
   os.system(f'python main.py --alpha {alpha} --beta {beta} --gamma {gamma}')

这里的 main.py 是训练用的主文件。改在 py 里用 os.system 跑,希望跑一组参数之后完会自动释放资源再跑下一组(?)

Notes

有多组参数组合需要尝试,不想每组参数都人工修改 python 代码,再在 notebook 中 %run 它。

python 参数通过的 argparse 接收,在 notebook 中写个多重循环遍历参数组合传给 python 程序自动运行。

记录一个简例。

Codes

test_dir
|- test.py
|- test.ipynb

in py file

# test.py
import argparse

parser = argparse.ArgumentParser()
parser.add_argument('--number', type=int, default=0, help='number')
parser.add_argument('--string', type=str, default='abc', help='string')
args = parser.parse_args()

print('number:', args.number, type(args.number))
print('string:', args.string, type(args.string))

in notebook

注意传参数时 $ 的使用

# test.ipynb
for i in range(3):
 for s in ('a', 'b', 'c'):
  %run test.py --number $i --string $s

补充知识:Jupyter Notebook出现kernel error FileNotFoundError: [WinError 2] 系统找不到指定的文件

Jupyter Notebook出现kernel error

jupyter notebook参数化运行python方式

conda create -n py36 --clone root

当时用Anaconda克隆本地的环境root到自己创建的py36环境,由于克隆完成后我又更改了虚拟环境名称,所以导致启动

jupyter notebook 进入文件是不能找到连接文件。

File”//anaconda/lib/python2.7/site-packages/jupyter_client/manager.py”, line 190, in _launch_kernel
return launch_kernel(kernel_cmd, **kw)
File “//anaconda/lib/python2.7/site-packages/jupyter_client/launcher.py”, line 123, in launch_kernel
proc = Popen(cmd, **kwargs)
File “//anaconda/lib/python2.7/subprocess.py”, line 710, in init
errread, errwrite)
File “//anaconda/lib/python2.7/subprocess.py”, line 1335, in _execute_child
raise child_exception
OSError: [Errno 2] No such file or director

解决办法

首先在cmd 使用jupyter kernelspec list查看安装的内核和位置

进入安装内核目录打开kernel.jason文件,查看Python编译器的路径是否正确

jupyter notebook参数化运行python方式

如果不正确python -m ipykernel install --user重新安装内核,如果有多个内核,如果你使用conda create -n python2 python=2,为Python2.7设置conda变量,那么在anacoda下使用activate pyhton2切换python环境,重新使用python -m ipykernel install --user安装内核.(通用情况)

或者直接进入kernel.json里更改py36(这是属于我的情况)

重启jupyter notebook即可。

以上这篇jupyter notebook参数化运行python方式就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
使用Python中的cookielib模拟登录网站
Apr 09 Python
Python使用BeautifulSoup库解析HTML基本使用教程
Mar 31 Python
Python max内置函数详细介绍
Nov 17 Python
解决Python 中英文混输格式对齐的问题
Jul 16 Python
python实现飞机大战微信小游戏
Mar 21 Python
利用python提取wav文件的mfcc方法
Jan 09 Python
Python+OpenCV感兴趣区域ROI提取方法
Jan 10 Python
python+opencv实现摄像头调用的方法
Jun 22 Python
对python中 math模块下 atan 和 atan2的区别详解
Jan 17 Python
python 异步async库的使用说明
May 04 Python
keras Lambda自定义层实现数据的切片方式,Lambda传参数
Jun 11 Python
Django-celery-beat动态添加周期性任务实现过程解析
Nov 26 Python
Python库skimage绘制二值图像代码实例
Apr 10 #Python
解决Jupyter因卸载重装导致的问题修复
Apr 10 #Python
解决jupyter notebook打不开无反应 浏览器未启动的问题
Apr 10 #Python
Python批量安装卸载1000个apk的方法
Apr 10 #Python
Window版下在Jupyter中编写TensorFlow的环境搭建
Apr 10 #Python
Selenium常见异常解析及解决方案示范
Apr 10 #Python
pandas分组聚合详解
Apr 10 #Python
You might like
PHP 飞信好友免费短信API接口开源版
2010/07/22 PHP
PHP 查找字符串常用函数介绍
2012/06/07 PHP
PHP中extract()函数的妙用分析
2012/07/11 PHP
PHP模拟post提交数据方法汇总
2016/02/16 PHP
php图片添加水印例子
2016/07/20 PHP
实例讲解YII2中多表关联的使用方法
2017/07/21 PHP
jquery tools之tabs 选项卡/页签
2009/07/25 Javascript
jquery 弹出层注册页面等(asp.net后台)
2010/06/17 Javascript
关于javascript DOM事件模型的两件事
2010/07/22 Javascript
JavaScript ( (__ = !$ + $)[+$] + ({} + $)[_/_] +({} + $)[_/_] )
2011/02/25 Javascript
同时使用n个window onload加载实例介绍
2013/04/25 Javascript
JavaScript学习笔记之ES6数组方法
2016/03/25 Javascript
前端程序员必须知道的高性能Javascript知识
2016/08/24 Javascript
JS树形菜单组件Bootstrap TreeView使用方法详解
2016/12/21 Javascript
关于react中组件通信的几种方式详解
2017/12/10 Javascript
微信小程序开发之路由切换页面重定向问题
2018/09/18 Javascript
详解适配器在JavaScript中的体现
2018/09/28 Javascript
Vue组件间通信 Vuex的用法解析
2019/08/05 Javascript
angula中使用iframe点击后不执行变更检测的问题
2020/05/10 Javascript
Vue实现图片轮播组件思路及实例解析
2020/05/11 Javascript
[56:47]Ti4 循环赛第三日 iG vs Liquid
2014/07/12 DOTA
Python编程实现生成特定范围内不重复多个随机数的2种方法
2017/04/14 Python
Python线程池模块ThreadPoolExecutor用法分析
2018/12/28 Python
Python数据可视化教程之Matplotlib实现各种图表实例
2019/01/13 Python
OpenCV Python实现拼图小游戏
2020/03/23 Python
深入了解Python 变量作用域
2020/07/24 Python
Python数据库封装实现代码示例解析
2020/09/05 Python
推荐10个CSS3 制作的创意下拉菜单效果
2014/02/11 HTML / CSS
HTML5 video播放器全屏(fullScreen)方法实例
2015/04/24 HTML / CSS
Sofft鞋官网:世界知名鞋类品牌
2017/03/28 全球购物
DJI美国:消费类无人机领域的领导者
2018/04/27 全球购物
Lungolivigno Fashion官网:高级时装在线购物
2020/10/17 全球购物
公司营业员的自我评价
2014/03/04 职场文书
低碳日宣传活动总结
2014/07/09 职场文书
2014年质量管理工作总结
2014/12/01 职场文书
2016高一新生军训心得体会
2016/01/11 职场文书