jupyter notebook参数化运行python方式


Posted in Python onApril 10, 2020

Updates

(2019.8.14 19:53)吃饭前用这个方法实战了一下,吃完回来一看好像不太行:跑完一组参数之后,到跑下一组参数时好像没有释放之占用的 GPU,于是 notebook 上的结果,后面好几条都报错说 cuda out of memory。

现在改成:将 notebook 中的代码写在一个 python 文件中,然后用命令行运行这个文件,比如:

# autorun.py
import os
# print(os.getcwd())

over = [ # 之前手工改参数跑完的参数组合
 [0, 1, 1], [0, 1, 2], [0, 1, 3],
 [0, 2, 1],
 [1, 0, 1],
 [1, 2, 1]
]

for alpha in range(1, 4, 1):
 for beta in range(3):
  for gamma in range(3):
   if [alpha, beta, gamma] in over:
    continue
   os.system(f'python main.py --alpha {alpha} --beta {beta} --gamma {gamma}')

这里的 main.py 是训练用的主文件。改在 py 里用 os.system 跑,希望跑一组参数之后完会自动释放资源再跑下一组(?)

Notes

有多组参数组合需要尝试,不想每组参数都人工修改 python 代码,再在 notebook 中 %run 它。

python 参数通过的 argparse 接收,在 notebook 中写个多重循环遍历参数组合传给 python 程序自动运行。

记录一个简例。

Codes

test_dir
|- test.py
|- test.ipynb

in py file

# test.py
import argparse

parser = argparse.ArgumentParser()
parser.add_argument('--number', type=int, default=0, help='number')
parser.add_argument('--string', type=str, default='abc', help='string')
args = parser.parse_args()

print('number:', args.number, type(args.number))
print('string:', args.string, type(args.string))

in notebook

注意传参数时 $ 的使用

# test.ipynb
for i in range(3):
 for s in ('a', 'b', 'c'):
  %run test.py --number $i --string $s

补充知识:Jupyter Notebook出现kernel error FileNotFoundError: [WinError 2] 系统找不到指定的文件

Jupyter Notebook出现kernel error

jupyter notebook参数化运行python方式

conda create -n py36 --clone root

当时用Anaconda克隆本地的环境root到自己创建的py36环境,由于克隆完成后我又更改了虚拟环境名称,所以导致启动

jupyter notebook 进入文件是不能找到连接文件。

File”//anaconda/lib/python2.7/site-packages/jupyter_client/manager.py”, line 190, in _launch_kernel
return launch_kernel(kernel_cmd, **kw)
File “//anaconda/lib/python2.7/site-packages/jupyter_client/launcher.py”, line 123, in launch_kernel
proc = Popen(cmd, **kwargs)
File “//anaconda/lib/python2.7/subprocess.py”, line 710, in init
errread, errwrite)
File “//anaconda/lib/python2.7/subprocess.py”, line 1335, in _execute_child
raise child_exception
OSError: [Errno 2] No such file or director

解决办法

首先在cmd 使用jupyter kernelspec list查看安装的内核和位置

进入安装内核目录打开kernel.jason文件,查看Python编译器的路径是否正确

jupyter notebook参数化运行python方式

如果不正确python -m ipykernel install --user重新安装内核,如果有多个内核,如果你使用conda create -n python2 python=2,为Python2.7设置conda变量,那么在anacoda下使用activate pyhton2切换python环境,重新使用python -m ipykernel install --user安装内核.(通用情况)

或者直接进入kernel.json里更改py36(这是属于我的情况)

重启jupyter notebook即可。

以上这篇jupyter notebook参数化运行python方式就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
使用python实现扫描端口示例
Mar 29 Python
Python实现把utf-8格式的文件转换成gbk格式的文件
Jan 22 Python
python并发编程之多进程、多线程、异步和协程详解
Oct 28 Python
Flask框架中request、请求钩子、上下文用法分析
Jul 23 Python
numpy 返回函数的上三角矩阵实例
Nov 25 Python
Pytest框架之fixture的详细使用教程
Apr 07 Python
Python 实现自动登录+点击+滑动验证功能
Jun 10 Python
Python常用外部指令执行代码实例
Nov 05 Python
Pycharm创建文件时自动生成文件头注释(自定义设置作者日期)
Nov 24 Python
python自动化办公操作PPT的实现
Feb 05 Python
解决pytorch 的state_dict()拷贝问题
Mar 03 Python
Django程序的优化技巧
Apr 29 Python
Python库skimage绘制二值图像代码实例
Apr 10 #Python
解决Jupyter因卸载重装导致的问题修复
Apr 10 #Python
解决jupyter notebook打不开无反应 浏览器未启动的问题
Apr 10 #Python
Python批量安装卸载1000个apk的方法
Apr 10 #Python
Window版下在Jupyter中编写TensorFlow的环境搭建
Apr 10 #Python
Selenium常见异常解析及解决方案示范
Apr 10 #Python
pandas分组聚合详解
Apr 10 #Python
You might like
实用函数9
2007/11/08 PHP
php学习笔记 [预定义数组(超全局数组)]
2011/06/09 PHP
php生成zip压缩文件的方法详解
2013/06/09 PHP
php出现内存位置访问无效错误问题解决方法
2014/08/16 PHP
PHP针对字符串开头和结尾的判断方法
2016/07/11 PHP
PHPCMS2008广告模板SQL注入漏洞修复
2016/10/11 PHP
PHP获取input输入框中的值去数据库比较显示出来
2016/11/16 PHP
一次失败的jQuery优化尝试小结
2011/02/06 Javascript
javascript日期格式化示例分享
2014/03/05 Javascript
jquery中each遍历对象和数组示例
2014/08/05 Javascript
JavaScript实现防止网页被嵌入Frame框架的代码分享
2014/12/29 Javascript
简介AngularJS的HTML DOM支持情况
2015/06/17 Javascript
JavaScript数组方法总结分析
2016/05/06 Javascript
ionic js 复选框 与普通的 HTML 复选框到底有没区别
2016/06/06 Javascript
jQuery实现图片滑动效果
2017/03/08 Javascript
AngularJS实现的回到顶部指令功能实例
2017/05/17 Javascript
Vue-router路由判断页面未登录跳转到登录页面的实例
2017/10/26 Javascript
vue+webpack中配置ESLint
2018/11/07 Javascript
vue中使用props传值的方法
2019/05/08 Javascript
JavaScript 防抖和节流遇见的奇怪问题及解决
2020/11/20 Javascript
新手该如何学python怎么学好python?
2008/10/07 Python
python3操作微信itchat实现发送图片
2018/02/24 Python
Python开发的十个小贴士和技巧及长常犯错误
2018/09/27 Python
python中正则表达式与模式匹配
2019/05/07 Python
Pycharm打开已有项目配置python环境的方法
2020/07/03 Python
Pytorch 扩展Tensor维度、压缩Tensor维度的方法
2020/09/09 Python
python实现scrapy爬虫每天定时抓取数据的示例代码
2021/01/27 Python
CSS的pointer-events属性详细介绍(作用和注意事项)
2014/04/23 HTML / CSS
html5中去掉input type date默认样式的方法
2018/09/06 HTML / CSS
Vision Directa智利眼镜网:框架眼镜、隐形眼镜和名牌太阳眼镜
2016/11/23 全球购物
英国轻奢珠宝品牌:Astley Clarke
2016/12/18 全球购物
在子网210.27.48.21/30种有多少个可用地址?分别是什么?
2014/07/27 面试题
企业宣传方案
2014/03/04 职场文书
中学生逃课检讨书
2015/02/17 职场文书
基于Go语言构建RESTful API服务
2021/07/25 Golang
PostgreSQL 插入INSERT、删除DELETE、更新UPDATE、事务transaction
2022/04/12 PostgreSQL