时间:2021-05-22
python版本3.7,用的是虚拟环境安装的pytorch,这样随便折腾,不怕影响其他的python框架
1、先定义一个类Linear,继承nn.Module
import torch as tfrom torch import nnfrom torch.autograd import Variable as V class Linear(nn.Module): '''因为Variable自动求导,所以不需要实现backward()''' def __init__(self, in_features, out_features): super().__init__() self.w = nn.Parameter( t.randn( in_features, out_features ) ) #权重w 注意Parameter是一个特殊的Variable self.b = nn.Parameter( t.randn( out_features ) ) #偏值b def forward( self, x ): #参数 x 是一个Variable对象 x = x.mm( self.w ) return x + self.b.expand_as( x ) #让b的形状符合 输出的x的形状2、验证一下
layer = Linear( 4,3 )input = V ( t.randn( 2 ,4 ) )#包装一个Variable作为输入out = layer( input )out#成功运行,结果如下:
tensor([[-2.1934, 2.5590, 4.0233], [ 1.1098, -3.8182, 0.1848]], grad_fn=<AddBackward0>)
下面利用Linear构造一个多层网络
class Perceptron( nn.Module ): def __init__( self,in_features, hidden_features, out_features ): super().__init__() self.layer1 = Linear( in_features , hidden_features ) self.layer2 = Linear( hidden_features, out_features ) def forward ( self ,x ): x = self.layer1( x ) x = t.sigmoid( x ) #用sigmoid()激活函数 return self.layer2( x )测试一下
perceptron = Perceptron ( 5,3 ,1 ) for name,param in perceptron.named_parameters(): print( name, param.size() )输出如预期:
layer1.w torch.Size([5, 3])layer1.b torch.Size([3])layer2.w torch.Size([3, 1])layer2.b torch.Size([1])以上这篇用pytorch的nn.Module构造简单全链接层实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持。
声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。
pytorch中view是tensor方法,然而在sequential中包装的是nn.module的子类,因此需要自己定义一个方法:importtorch.nn
在很多神经网络中,往往会出现多个层共享一个权重的情况,pytorch可以快速地处理权重共享问题。例子1:classConvNet(nn.Module):def_
nn.Module中定义参数:不需要加cuda,可以求导,反向传播classBiFPN(nn.Module):def__init__(self,fpn_size
最近在刚从tensorflow转入pytorch,对于自定义的nn.Module碰到了个问题,即使把模组modle=Model().cuda(),里面的子Mod
在迁移学习finetune时我们通常需要冻结前几层的参数不参与训练,在Pytorch中的实现如下:classModel(nn.Module):def__init