2021SC@SDUSC
目录
base_layer.py
base_layer是所有layer的基类
?Accumulator.py
layers可以注册累加器以保持step-level状态
累加器必须由一个固定形状的张量表示,默认值必须通过重写DefaultValue()来提供。
def DefaultValue(self):
raise NotImplementedError('DefaultValue must be implemented')为了避免累加器泄漏到不同的图，在每次调用时创建默认张量值很重要。
可以通过对Disable()/Enable()调用启用(默认)或禁用累加器。
def Disable(self):
"""Disables the accumulator (must be balanced with Enable)."""
self._disable_count += 1
def Enable(self):
"""Enables the accumulator (must balance a Disable)."""
assert self._disable_count > 0, 'Unbalanced Accumulator Enable/Disable'
self._disable_count -= 1当被禁用时，累加器将只返回默认值，并将默认放弃对SetValue()的调用。当计算可能接触累加器的梯度时，调用应该用Disable()/Enable()括起来。
在跨Defun边界操作累加器时必须小心。
通常，一个层中的所有累加器的值必须通过调用layer. getaccumulatorvalues()显式地检索并传递到Defun作用域，将其打包到Defun中并通过layer. setaccumulatorvalues()设置它们。
反之则必须在返回时执行。
BaseLayerMeta.py
（元类跟踪子层和变量初始化）
ABCLayerMeta.py
记录创建变量的元数据的指定元组。
仅供内部使用。BaseLayer的子类要用
创建变量：
?BaseLayer.py
这是所有layer对象的基类
因为BaseLayer是tf.module自带的一个子类，它支持自跟踪和像变量和子模块这样的关键组成的反映。
self.submodules返回一个子模块列表，这些子模块可以通过self的递归成员访问进行访问。
self.variables返回一个变量列表，这些变量可以通过self的递归成员访问来访问。
self (\*args， \*\*kwargs)对输入的args和kwargs进行计算。
返回layer参数：
def Params(cls: Type[BaseLayerT]) -> BaseLayerParamsT:
p = hyperparams.InstantiableParams(cls)
p.Define('inference_driver_name', cls._INFERENCE_DRIVER_NAME,
'Name of the inference driver used to construct this layer.')
p.Define('name', '', 'Name of this layer object.')
p.Define('dtype', tf.float32, 'Datatype to use.')
# None value will make FProp use dtype instead of fprop_dtype.
# TODO(lepikhin): all @tf.Defun should use p.fprop_dtype if it is set.
p.Define('fprop_dtype', None, 'Activations datatype to use.')
p.Define(
'random_seed', None, 'Random seed for deterministic unittests. This '
'is inherited by child layers if they do not set a random_seed.')
...
return p
从`from_params` 到?`to_params`复制BaseLayer的参数：
def CopyBaseParams(from_params: hyperparams.InstantiableParams[BaseLayerS],
to_params: BaseLayerParamsT) -> BaseLayerParamsT:
assert issubclass(from_params.cls, BaseLayer)
assert issubclass(to_params.cls, BaseLayer)
if to_params.dtype == tf.float32:
to_params.dtype = from_params.dtype
if to_params.fprop_dtype is None:
to_params.fprop_dtype = from_params.fprop_dtype
if to_params.random_seed is None:
to_params.random_seed = from_params.random_seed
if to_params.is_inference is None:
to_params.is_inference = from_params.is_inference
... 返回一个包含模型及其所有子模型变量的字典:
def GetVariablesDict(self, visited=None):
if visited is None:
visited = set()
elif id(self) in visited:
return {}
visited.add(id(self))
res = self._GetSelfVariablesDict()
for child in py_utils.Flatten(self.children):
res = py_utils.MergeDictsWithValueCheck(res,
child.GetVariablesDict(visited))
return res