时间:2021-05-22
用pytorch训练一个神经网络时,我们通常会很关心模型的参数总量。下面分别介绍来两种方法求模型参数
一 .求得每一层的模型参数,然后自然的可以计算出总的参数。
1.先初始化一个网络模型model
比如我这里是 model=cliqueNet(里面是些初始化的参数)
2.调用model的Parameters类获取参数列表
一个典型的操作就是将参数列表传入优化器里。如下
optimizer = optim.Adam(model.parameters(), lr=opt.lr)言归正传,继续回到参数里面,参数在网络里面就是variable,下面分别求每层的尺寸大小和个数。
函数get_number_of_param( ) 里面的参数就是刚才第一步初始化的model
def get_number_of_param(model): """get the number of param for every element""" count = 0 for param in model.parameters(): param_size = param.size() count_of_one_param = 1 for dis in param_size: count_of_one_param *= dis print(param.size(), count_of_one_param) count += count_of_one_param print(count) print('total number of the model is %d'%count)再来看看结果:
torch.Size([64, 1, 3, 3]) 576576torch.Size([64]) 64640torch.Size([6, 36, 64, 3, 3]) 124416125056torch.Size([30, 36, 36, 3, 3]) 349920474976torch.Size([12, 36]) 432475408torch.Size([6, 36, 216, 3, 3]) 419904895312torch.Size([30, 36, 36, 3, 3]) 3499201245232torch.Size([12, 36]) 4321245664torch.Size([6, 36, 216, 3, 3]) 4199041665568torch.Size([30, 36, 36, 3, 3]) 3499202015488torch.Size([12, 36]) 4322015920torch.Size([6, 36, 216, 3, 3]) 4199042435824torch.Size([30, 36, 36, 3, 3]) 3499202785744torch.Size([12, 36]) 4322786176torch.Size([216, 216, 1, 1]) 466562832832torch.Size([216]) 2162833048torch.Size([108, 216]) 233282856376torch.Size([108]) 1082856484torch.Size([216, 108]) 233282879812torch.Size([216]) 2162880028torch.Size([216, 216, 1, 1]) 466562926684torch.Size([216]) 2162926900torch.Size([108, 216]) 233282950228torch.Size([108]) 1082950336torch.Size([216, 108]) 233282973664torch.Size([216]) 2162973880torch.Size([216, 216, 1, 1]) 466563020536torch.Size([216]) 2163020752torch.Size([108, 216]) 233283044080torch.Size([108]) 1083044188torch.Size([216, 108]) 233283067516torch.Size([216]) 2163067732torch.Size([140, 280, 1, 1]) 392003106932torch.Size([140]) 1403107072torch.Size([216, 432, 1, 1]) 933123200384torch.Size([216]) 2163200600torch.Size([216, 432, 1, 1]) 933123293912torch.Size([216]) 2163294128torch.Size([9, 572, 3, 3]) 463323340460torch.Size([9]) 93340469total number of the model is 3340469可以通过计算验证一下,发现参数与网络是一致的。
二:一行代码就可以搞定参数总个数问题
2.1 先来看看torch.tensor.numel( )这个函数的功能就是求tensor中的元素个数,在网络里面每层参数就是多维数组组成的tensor。
实际上就是求多维数组的元素个数。看代码。
print('cliqueNet parameters:', sum(param.numel() for param in model.parameters()))当然上面代码中的model还是上面初始化的网络模型。
看看两种的计算结果
torch.Size([64, 1, 3, 3]) 576576torch.Size([64]) 64640torch.Size([6, 36, 64, 3, 3]) 124416125056torch.Size([30, 36, 36, 3, 3]) 349920474976torch.Size([12, 36]) 432475408torch.Size([6, 36, 216, 3, 3]) 419904895312torch.Size([30, 36, 36, 3, 3]) 3499201245232torch.Size([12, 36]) 4321245664torch.Size([6, 36, 216, 3, 3]) 4199041665568torch.Size([30, 36, 36, 3, 3]) 3499202015488torch.Size([12, 36]) 4322015920torch.Size([6, 36, 216, 3, 3]) 4199042435824torch.Size([30, 36, 36, 3, 3]) 3499202785744torch.Size([12, 36]) 4322786176torch.Size([216, 216, 1, 1]) 466562832832torch.Size([216]) 2162833048torch.Size([108, 216]) 233282856376torch.Size([108]) 1082856484torch.Size([216, 108]) 233282879812torch.Size([216]) 2162880028torch.Size([216, 216, 1, 1]) 466562926684torch.Size([216]) 2162926900torch.Size([108, 216]) 233282950228torch.Size([108]) 1082950336torch.Size([216, 108]) 233282973664torch.Size([216]) 2162973880torch.Size([216, 216, 1, 1]) 466563020536torch.Size([216]) 2163020752torch.Size([108, 216]) 233283044080torch.Size([108]) 1083044188torch.Size([216, 108]) 233283067516torch.Size([216]) 2163067732torch.Size([140, 280, 1, 1]) 392003106932torch.Size([140]) 1403107072torch.Size([216, 432, 1, 1]) 933123200384torch.Size([216]) 2163200600torch.Size([216, 432, 1, 1]) 933123293912torch.Size([216]) 2163294128torch.Size([9, 572, 3, 3]) 463323340460torch.Size([9]) 93340469total number of the model is 3340469cliqueNet parameters: 3340469可以看出两种计算出来的是一模一样的。
以上这篇pytorch 求网络模型参数实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持。
声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。
有一些非常流行的网络如resnet、squeezenet、densenet等在pytorch里面都有,包括网络结构和训练好的模型。pytorch自带模型网址:h
1Pytorch以ONNX方式保存模型defsaveONNX(model,filepath):'''保存ONNX模型:parammodel:神经网络模型:par
今天用pytorch保存模型时遇到bugCan'tpickle在google上查找原因,发现是保存时保存了整个模型的原因,而模型中有一些自定义的参数将torch
前言最近在使用pytorch的时候,模型训练时,不需要使用forward,只要在实例化一个对象中传入对应的参数就可以自动调用forward函数即:forward
深度学习中,模型训练完后,查看模型的参数量和浮点计算量,在此记录下:1THOP在pytorch中有现成的包thop用于计算参数数量和FLOP,首先安装thop: