|
记录一个花了一整天才解决的问题：
（Tensorflow 1.14, python 3.6）
自己写的深度学习网络，在build graph阶段报错：ValueError: Tensor conversion requested dtype float32 for Tensor with dtype resource
查看 tf.variable 的 dtype 发现全都是“float32", 而正常情况下（对应我的tf版本）应该是"float32_ref”。不清楚二者有何不同，但float32这个类型导致我生成的graph里按变量名读不到指定的 tensor 内容。
例如：
直接读网络里的某个tf变量v，输出为: <tf.Variable ‘conv/kernel:0’ shape=(64, 64) dtype=float32>
而使用get_tensor_by_name()从生成的graph里读同一个tf变量，输出为: Tensor(“conv/kernel:0”, shape=(), dtype=resource)
dtype莫名其妙变成了resource，shape信息也读不到。
原因：
tensorflow.python.keras.layers 与 tf.layers 里的 Layer 不同.
我的网络里用到了keras的层，比如 Dense, Embedding，导致数据类型变成了 float32 而不是 float32_ref。
（检查发现把 tensorflow.python.keras.layers.Dense 替换成 tensorflow.layers.Dense, 就可以使相关的变量类型变成 float32_ref，也可以从graph里正常读到其shape和dtype了）
解决方法：
有些层只有keras里有，tf里没有，例如 Embedding. 为了使用这些层，且使数据类型为“float32_ref"，可以自己写一个wrapper，同时以 keras layer 和 tensorflow base layer 为父类：
from tensorflow.python.layers import base
class MyEmbedding(tensorflow.python.keras.layers.Embedding, base.Layer):
def __init__(self, input_dim, output_dim):
super(MyEmbedding, self).__init__(input_dim=input_dim, output_dim=output_dim)
一个忠告：说多了都是泪，能用torch坚决别碰tf…
|