时间:2021-05-22
需求:Resnet50做调优训练,将最后分类数目由1000改为500。
问题:网上下载了resnet50_weights_tf_dim_ordering_tf_kernels_notop.h5,更改了Resnet50后,由于所有层均参加训练,导致训练速度慢。实际上只需要训练最后3层,前面的层都不需要训练。
解决办法:
①将模型拆分为两个模型,一个为前面的notop部分,一个为最后三层,然后利用model的trainable属性设置只有后一个model训练,最后将两个模型合并起来。
②不用拆分,遍历模型的所有层,将前面层的trainable设置为False即可。代码如下:
for layer in model.layers[:-3]: print(layer.trainable) layer.trainable = False注意事项:
①尽量不要这样:
layers.Conv2D(filters1, (1, 1), trainable=False)(input_tensor)
因为容易出错。。。
②加载notop参数时注意by_name=True.
补充知识:Keras关于训练冻结部分层
设置冻结层有两种方式。
(不推荐)是在搭建网络时,直接将某层的trainable设置为false,例如:
layers.Conv2D(filters1, (1, 1), trainable=False)(input_tensor)
在网络搭建完成时,遍历model.layer,然后将layer.trainable设置为False:
# 冻结网络倒数的3层for layer in model.layers[:-3]: print(layer.trainable) layer.trainable = False也可以根据layer.name来确定哪些层需要冻结,例如冻结最后一层和RNN层:
for layer in model.layers: layerName=str(layer.name) if layerName.startswith("RNN_") or layerName.startswith("Final_"): layer.trainable=False可以在实例化之后将网络层的 trainable 属性设置为 True 或 False。为了使之生效,在修改 trainable 属性之后,需要在模型上调用 compile()。
这是一个例子
x = Input(shape=(32,))layer = Dense(32)layer.trainable = Falsey = layer(x) frozen_model = Model(x, y)# 在下面的模型中,训练期间不会更新层的权重frozen_model.compile(optimizer='rmsprop', loss='mse') layer.trainable = Truetrainable_model = Model(x, y)# 使用这个模型,训练期间 `layer` 的权重将被更新# (这也会影响上面的模型,因为它使用了同一个网络层实例)trainable_model.compile(optimizer='rmsprop', loss='mse') frozen_model.fit(data, labels) # 这不会更新 `layer` 的权重trainable_model.fit(data, labels) # 这会更新 `layer` 的权重在网络搭建时,可以考虑最后一个分类层命名和分类数量关联,这样当费雷数量方式变化时,model.load_weight(“weight.h5”,by_name=True)不会加载最后一层
以上这篇Keras: model实现固定部分layer,训练部分layer操作就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持。
声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。
layer的两个函数:get_weights(),set_weights(weights)。详情请参考about-keras-layers。补充知识:Keras
项目中有弹出层的内容是不固定的,根据情况可能变长变短,于是就要求做layer弹出层的大小自适应,查询了api后发现layer.iframeAuto方法可以实现,
使用H-UI框架中的layer弹出层时发现layer.js中没有layer.prompt,如果想要使用layer.prompt可以使用layer中的use从扩展
layer只是作为layui的一个弹层模块layer弹出层取消遮罩笔者认为跟layer弹出层非模态对话框类似layer.open({title:'在线调试',c
本文搜集的是本人在实际开发中所用到的layer窗口,未用到的layer按钮,请参考layer官网:http://layer.layui.com/一、layer的