时间:2021-05-22
Updates
(2019.8.14 19:53)吃饭前用这个方法实战了一下,吃完回来一看好像不太行:跑完一组参数之后,到跑下一组参数时好像没有释放之占用的 GPU,于是 notebook 上的结果,后面好几条都报错说 cuda out of memory。
现在改成:将 notebook 中的代码写在一个 python 文件中,然后用命令行运行这个文件,比如:
# autorun.pyimport os# print(os.getcwd())over = [ # 之前手工改参数跑完的参数组合 [0, 1, 1], [0, 1, 2], [0, 1, 3], [0, 2, 1], [1, 0, 1], [1, 2, 1]]for alpha in range(1, 4, 1): for beta in range(3): for gamma in range(3): if [alpha, beta, gamma] in over: continue os.system(f'python main.py --alpha {alpha} --beta {beta} --gamma {gamma}')这里的 main.py 是训练用的主文件。改在 py 里用 os.system 跑,希望跑一组参数之后完会自动释放资源再跑下一组(?)
Notes
有多组参数组合需要尝试,不想每组参数都人工修改 python 代码,再在 notebook 中 %run 它。
python 参数通过的 argparse 接收,在 notebook 中写个多重循环遍历参数组合传给 python 程序自动运行。
记录一个简例。
Codes
test_dir
|- test.py
|- test.ipynb
in py file
# test.pyimport argparseparser = argparse.ArgumentParser()parser.add_argument('--number', type=int, default=0, help='number')parser.add_argument('--string', type=str, default='abc', help='string')args = parser.parse_args()print('number:', args.number, type(args.number))print('string:', args.string, type(args.string))in notebook
注意传参数时 $ 的使用
# test.ipynbfor i in range(3): for s in ('a', 'b', 'c'): %run test.py --number $i --string $s补充知识:Jupyter Notebook出现kernel error FileNotFoundError: [WinError 2] 系统找不到指定的文件
Jupyter Notebook出现kernel error
conda create -n py36 --clone root
当时用Anaconda克隆本地的环境root到自己创建的py36环境,由于克隆完成后我又更改了虚拟环境名称,所以导致启动
jupyter notebook 进入文件是不能找到连接文件。
File”//anaconda/lib/python2.7/site-packages/jupyter_client/manager.py”, line 190, in _launch_kernel
return launch_kernel(kernel_cmd, **kw)
File “//anaconda/lib/python2.7/site-packages/jupyter_client/launcher.py”, line 123, in launch_kernel
proc = Popen(cmd, **kwargs)
File “//anaconda/lib/python2.7/subprocess.py”, line 710, in init
errread, errwrite)
File “//anaconda/lib/python2.7/subprocess.py”, line 1335, in _execute_child
raise child_exception
OSError: [Errno 2] No such file or director
解决办法
首先在cmd 使用jupyter kernelspec list查看安装的内核和位置
进入安装内核目录打开kernel.jason文件,查看Python编译器的路径是否正确
如果不正确python -m ipykernel install --user重新安装内核,如果有多个内核,如果你使用conda create -n python2 python=2,为Python2.7设置conda变量,那么在anacoda下使用activate pyhton2切换python环境,重新使用python -m ipykernel install --user安装内核.(通用情况)
或者直接进入kernel.json里更改py36(这是属于我的情况)
重启jupyter notebook即可。
以上这篇jupyter notebook参数化运行python方式就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持。
声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。
在jupyternotebook参数化运行python时,怕输出太多文件太大,想及时清除notebook的输出。在别人代码里看到用easydl的clear_ou
换用非默认浏览器时需要输入密码或token查询方法:在XX:\AnacondaXX\Scripts下运行jupyter-notebook.exelist可得to
1.Jupyter默认目录调整首先要找到jupyter生成的配置文件jupyter_notebook_config.py。如果没有,在anacondapromp
jupyternotebook的安装在这里都不赘述可以参考jupyter官网的步骤http://jupyter-notebook.readthedocs.io/
1、远程服务器上安装jupyternotebook(配置jupyter_notebook_config.py文件)sudopipinstalljupyter2、