时间:2021-05-22
目的: 在训练神经网络的时候,有时候需要自己写操作,比如faster_rcnn中的roi_pooling,我们可以可视化前向传播的图像和反向传播的梯度图像,前向传播可以检查流程和计算的正确性,而反向传播则可以大概检查流程的正确性。
实验
可视化rroi_align的梯度
1.pytorch 0.4.1及之前,需要声明需要参数,这里将图片数据声明为variable
im_data = Variable(im_data, requires_grad=True)
2.进行前向传播,最后的loss映射为一个一维的张量
pooled_feat = roipool(im_data, rois.view(-1, 6))res = pooled_feat.pow(2).sum()res.backward()3.注意求loss的时候采用更加复杂,或者更多的运算(这样在梯度可视化的时候效果才更加明显)
可视化效果
原始图片
梯度可视化图片
原图+梯度图
小结:
可以看到误差梯度的位置是正确的,误差是否正确,需要其他方式验证(暂时没有思路)
可以看到上面在求loss的时候为:loss = sum(x2),但是如果换成:loss = mean(x),效果就没有上面明显。
实验二的效果
loss = mean(x)
可以看到根本无法看到误差梯度的位置信息
实验三:loss = sum(x)
小结:可以看到位置信息有差别,比如国徽部分,这会让人以为,国徽部分只利用了左部分的信息,或者自己手写的操作误差索引不对。
可以通过两种方式进行验证
1.用更多,更复杂的运算求loss,比如pow,等
2.用matplotlib显示图片后,用鼠标可以指示每个点的具体的值,可以检测有误差梯度区域是否和无误差梯度区域有差别。
以上这篇pytorch对梯度进行可视化进行梯度检查教程就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持。
声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。
机器学习过程中经常需要可视化,有助于加强对模型和参数的理解。下面对梯度下降过程进行动图演示,可以修改不同的学习率,观看效果。importnumpyasnpimp
基于python代码的3D地图可视化,供大家参考,具体内容如下介绍使用Python对地图进行3D可视化。以地图为地图,可以在三维空间对轨迹、点进行可视化。库我们
以sign函数为例:sign函数可以对数值进行二值化,但在梯度反向传播是不好处理,一般采用一个近似函数的梯度作为代替,如上图的Htanh。在[-1,1]直接梯度
在pytorch中一般只对叶节点进行梯度计算,也就是下图中的d,e节点,而对非叶节点,也即是c,b节点则没有显式地去保留其中间计算过程中的梯度(因为一般来说只有
在PyTorch中可以方便的验证SoftMax交叉熵损失和对输入梯度的计算关于softmax_cross_entropy求导的过程,可以参考HERE示例:#-*