时间:2021-05-22
深度学习中,模型训练完后,查看模型的参数量和浮点计算量,在此记录下:
在pytorch中有现成的包thop用于计算参数数量和FLOP,首先安装thop:
pip install thop注意安装thop时可能出现如下错误:
使用方法如下:
from torchvision.models import resnet50 # 引入ResNet50模型from thop import profilemodel = resnet50()flops, params = profile(model, input_size=(1, 3, 224,224)) # profile(模型,输入数据)对于自己构建的函数也一样,例如shuffleNetV2
from thop import profile from utils.ShuffleNetV2 import shufflenetv2 # 导入shufflenet2 模块 import torch model_shuffle = shufflenetv2(width_mult=0.5) model = torch.nn.DataParallel(model_shuffle) # 调用shufflenet2 模型,该模型为自己定义的 flop, para = profile(model, input_size=(1, 3, 224, 224),) print("%.2fM" % (flop/1e6), "%.2fM" % (para/1e6))更多细节,可参考thop GitHub链接: https://github.com/Lyken17/pytorch-OpCounter
pytorch本身带有计算参数的方法
from thop import profile from utils.ShuffleNetV2 import shufflenetv2 # 导入shufflenet2 模块 import torch model_shuffle = shufflenetv2(width_mult=0.5) model = torch.nn.DataParallel(model_shuffle) total = sum([param.nelement() for param in model.parameters()]) print("Number of parameter: %.2fM" % (total / 1e6))补充:pytorch: 计算网络模型的计算量(FLOPs)和参数量(Params)
计算量:
FLOPs,FLOP时指浮点运算次数,s是指秒,即每秒浮点运算次数的意思,考量一个网络模型的计算量的标准。
参数量:
Params,是指网络模型中需要训练的参数总数。
输入input的第一维度是批量(batch size),批量的大小不回影响参数量, 计算量是batch_size=1的倍数
profile(net, (inputs,))的 (inputs,)中必须加上逗号,否者会报错
以上为个人经验,希望能给大家一个参考,也希望大家多多支持。如有错误或未考虑完全的地方,望不吝赐教。
声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。
Pytorch中,变量参数,用numel得到参数数目,累加defget_parameter_number(net):total_num=sum(p.numel(
一般来说,pytorch的Parameter是一个tensor,但是跟通常意义上的tensor有些不一样1)通常意义上的tensor仅仅是数据2)而Parame
PyTorch基础入门一:PyTorch基本数据类型1)Tensor(张量)Pytorch里面处理的最基本的操作对象就是Tensor(张量),它表示的其实就是一
小书学习的主要方向是TensorFlow和Pytorch,今天就来安装一下Pytorch。第一步:去官网看看Pytorch官网:(https://pytorch
_parameter_parameter表示当前传入的参数,如果查询的时候传入的参数只有一个,则使用_parameterEgetById(Integerid);