在张量流中的卷积层上使用tf.train.Saver()

2023年1月24日 363次阅读

我试图使用tf.train.Saver()在张量流中的两个卷积神经网络图之间应用传递学习,我想验证我的方法是否按预期工作.有没有办法检查tf.layers.conv2d()层中的可训练特征？

我的方法

1.初始化图层

conv1 = tf.layers.conv2d(inputs=X_reshaped, filters=conv1_fmaps, kernel_size=conv1_ksize,
                             strides=conv1_stride, padding=conv1_pad, 
                             activation=tf.nn.relu, 
                             kernel_initializer=tf.contrib.layers.xavier_initializer(), 
                             bias_initializer=tf.zeros_initializer(), trainable=True, 
                             name="conv1")

2. {训练网络}

3.保存当前图表

tf.train.Saver().save(sess,“./ my_model_final.ckpt”)

4.构建包含相同图层的新图形,使用Saver()加载指定的权重

reuse_vars = tf.get_collection(tf.GraphKeys.GLOBAL_VARIABLES,
                               scope="conv[1]") 
reuse_vars_dict = dict([(var.op.name, var) for var in reuse_vars])
restore_saver = tf.train.Saver(reuse_vars_dict)

…

restore_saver.restore(sess,“./ my_model_final.ckpt”)

5. {训练并评估新图}

我的问题：

1)我的代码按预期工作,没有错误,但我并不是100％自信它的工作方式与我认为的一样.有没有办法从图层打印可训练的功能,以确保我正确加载和保存重量？使用tf.layers API保存/加载参数是否有“更好”的方法？我注意到GitHub上有一个与此相关的request.理想情况下,我想在第一张图上检查这些值a)在初始化之后b)在训练之后和在新图上i)在加载权重之后i)在训练/评估之后.

最佳答案 >有没有办法从图层打印可训练的功能,以确保我正确加载和保存重量？

是的,您首先需要处理图层的变量.有几种方法可以做到这一点,但可以说最简单的方法是使用get_collection()函数：

conv1_vars = tf.get_collection(tf.GraphKeys.GLOBAL_VARIABLES,
                               scope="conv1")

请注意,此处的作用域被视为正则表达式,因此如果您想要来自范围conv1,conv2和conv3的所有变量,则可以编写conv [123]之类的内容.

如果您只想要可训练的变量,可以用TRAINABLE_VARIABLES替换GLOBAL_VARIABLES.

如果您只想检查单个变量,例如图层的内核,那么您可以像这样使用get_tensor_by_name()：

graph = tf.get_default_graph()
kernel_var = graph.get_tensor_by_name("conv1/kernel:0")

另一种选择是迭代所有变量并根据其名称进行过滤：

conv1_vars = [var for var in tf.global_variables()
              if var.op.name.startswith("conv1/")]

一旦掌握了这些变量,就可以在不同的点上对它们进行评估,例如：刚刚初始化之后,刚恢复图形后,刚刚训练后,依此类推,并比较这些值.例如,这是在初始化之后获取值的方法：

with tf.Session() as sess:
    init.run()
    conv1_var_values_after_init = sess.run(conv1_vars)

然后,一旦您在感兴趣的各个点捕获了变量值,就可以检查它们是否相等(或者足够接近,考虑到微小的浮点不精确),如下所示：

same = np.allclose(conv1_var_values_after_training,
                   conv1_var_values_after_restore)

>使用tf.layers API保存/加载参数是否有“更好”的方法？

不是我知道的.您指向的功能请求实际上并不是将参数保存/加载到磁盘,而是能够轻松获取图层变量的句柄,并轻松创建分配节点以设置其值.

例如,可以(在TF 1.4中)获取图层内核的句柄并非常简单地获取其值,如下所示：

conv1_kernel_value = conv1.kernel.eval()

当然,您可以使用它来获取/设置变量的值并将其加载/保存到磁盘,如下所示：

conv1 = tf.layers.conv2d(...)
new_kernel = tf.placeholder(...)
assign_kernel = conv1.kernel.assign(new_kernel)
init = tf.global_variables_initializer()

with tf.Session() as sess:
    init.run()
    loaded_kernel = my_function_to_load_kernel_value_from_disk(...)
    assign_kernel.run(feed_dict={new_kernel: loaded_kernel})
    ...

它不漂亮.如果要加载/保存到数据库(而不是平面文件)可能很有用,但一般情况下我建议使用Saver.

我希望这有帮助.

点赞