时间:2021-05-22
查看源码
Linear 的初始化部分:
class Linear(Module): ... __constants__ = ['bias'] def __init__(self, in_features, out_features, bias=True): super(Linear, self).__init__() self.in_features = in_features self.out_features = out_features self.weight = Parameter(torch.Tensor(out_features, in_features)) if bias: self.bias = Parameter(torch.Tensor(out_features)) else: self.register_parameter('bias', None) self.reset_parameters() ...需要实现的内容:
计算步骤:
@weak_script_method def forward(self, input): return F.linear(input, self.weight, self.bias)返回的是:input * weight + bias
对于 weight
weight: the learnable weights of the module of shape :math:`(\text{out\_features}, \text{in\_features})`. The values are initialized from :math:`\mathcal{U}(-\sqrt{k}, \sqrt{k})`, where :math:`k = \frac{1}{\text{in\_features}}`对于 bias
bias: the learnable bias of the module of shape :math:`(\text{out\_features})`. If :attr:`bias` is ``True``, the values are initialized from :math:`\mathcal{U}(-\sqrt{k}, \sqrt{k})` where :math:`k = \frac{1}{\text{in\_features}}`实例展示
举个例子:
>>> import torch>>> nn1 = torch.nn.Linear(100, 50)>>> input1 = torch.randn(140, 100)>>> output1 = nn1(input1)>>> output1.size()torch.Size([140, 50])张量的大小由 140 x 100 变成了 140 x 50
执行的操作是:
[140,100]×[100,50]=[140,50]
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持。
声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。
对于简单的网络例如全连接层Linear可以使用以下方法打印linear层:fc=nn.Linear(3,5)params=list(fc.named_param
python版本3.7,用的是虚拟环境安装的pytorch,这样随便折腾,不怕影响其他的python框架1、先定义一个类Linear,继承nn.Moduleim
pytorch中view是tensor方法,然而在sequential中包装的是nn.module的子类,因此需要自己定义一个方法:importtorch.nn
pytorch中的权值初始化官方论坛对weight-initilzation的讨论torch.nn.Module.apply(fn)torch.nn.Modul
路径:https://pytorch.org/docs/master/nn.init.html#nn-init-doc初始化函数:torch.nn.init#-