时间:2021-05-22
Keras的底层库使用Theano或TensorFlow,这两个库也称为Keras的后端。无论是Theano还是TensorFlow,都需要提前定义好网络的结构,也就是常说的“计算图”。
在运行前需要对计算图编译,然后才能输出结果。那这里面主要有两个问题,第一是这个图结构在运行中不能任意更改,比如说计算图中有一个隐含层,神经元的数量是100,你想动态的修改这个隐含层神经元的数量那是不可以的;第二是调试困难,keras没有内置的调试工具,所以计算图的中间结果是很难看到的,一旦最终输出跟预想不一致,很难找到问题所在。
这里谈一谈本人调试keras的一些经验:
分阶段构建你的神经网络
不要一口气把整个网络全部写完,这样很难保证中间结果的正确性。加如一个CNN文本分类模型是这样的(如下代码),应该在加了Embedding层后,停止,打印一下中间结果,看看跟embedding向量能不能对上,输出的shape对不对。对上了再进行下一步操作。
有的人觉得这样很浪费时间,但是除非你能一遍写对,否则你将花上5倍的时间发现错误。
# model parameters: embedding_dims = 50 cnn_filters = 100 cnn_kernel_size = 5 dense_hidden_dims = 200 model = Sequential() model.add(Embedding(nb_words,embedding_dims,input_length=maxlen)) model.add(Dropout(0.5)) model.add(Conv1D(cnn_filters, cnn_kernel_size,padding='valid', activation='relu')) model.add(GlobalMaxPooling1D()) model.add(Dense(dense_hidden_dims)) model.add(Dropout(0.5)) model.add(Activation('relu')) model.add(Dense(1)) model.add(Activation('sigmoid')) return model使用K.function()函数打印中间结果
function函数可以接收传入数据,并返回一个numpy数组。使用这个函数我们可以方便地看到中间结果,尤其对于变长输入的Input。
下面是官方关于function的文档。
function
keras.backend.function(inputs, outputs, updates=None)
实例化 Keras 函数。
参数
inputs: 占位符张量列表。
outputs: 输出张量列表。
updates: 更新操作列表。
**kwargs: 需要传递给 tf.Session.run 的参数。
返回
输出值为 Numpy 数组。
异常
ValueError: 如果无效的 kwargs 被传入。
example
下面这个例子是打印一个LSTM层的中间结果,值得注意的是这个LSTM的sequence是变长的,可以看到输出的结果sequence长度分别是64和128
import keras.backend as K from keras.layers import LSTM, Input import numpy as np I = Input(shape=(None, 200)) lstm = LSTM(20, return_sequences=True) f = K.function(inputs=[I], outputs=[lstm(I)]) data1 = np.random.random(size=(2, 64, 200)) print(f([data1])[0].shape) data2 = np.random.random(size=(2, 128, 200)) print(f([data2])[0].shape) K.clear_session() # (2, 64, 20) # (2, 128, 20)其他的调试技巧
有频繁张量变换操作的,如dot, mat, reshape等等,记得加一行形状变化的注释,如(100, 128)--> (100, 64)
可以使用tensorboard查看网络的参数情况
确保你的数据没有问题,很多时候输出不对不是神经网络有问题,而是数据有问题
以上这篇使用K.function()调试keras操作就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持。
声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。
使用keras时,加入keras的lambda层以实现自己定义的操作。但是,发现操作结果的shape信息有问题。我的后端是theano,使用了sum操作。比如输
我就废话不多说了,大家还是直接看代码吧!model=keras.models.Sequential([#卷积层1keras.layers.Conv2D(32,k
使用Keras作前端写网络时,由于训练图像尺寸较大,需要做类似tf.random_crop图像裁剪操作。为此研究了一番Keras下已封装的API。DataAug
调试需加入jquery文件复制代码代码如下:$(function(){$('#year').change(function(){if(ifLeapYear($(
在网上搜过发现关于keras下的模型融合框架其实很简单,奈何网上说了一大堆,这个东西官方文档上就有,自己写了个demo:#Function:基于keras框架下