实验是利用LeNet-5模型,计算手写数字集得误差。结果刚加载模型显卡内存就溢出。
?
报错如下：
先用keras来计算网络的大小，参数的个数。
(50000, 32, 32, 3) (50000,) (10000, 32, 32, 3) (10000,) sample: (512, 32, 32, 3) (512,) tf.Tensor(-1.0, shape=(), dtype=float32) tf.Tensor(1.0, shape=(), dtype=float32) Model: "res_net_1" _________________________________________________________________ Layer (type) Output Shape Param # ================================================================= sequential_8 (Sequential) multiple 2048 _________________________________________________________________ sequential_9 (Sequential) multiple 148736 _________________________________________________________________ sequential_10 (Sequential) multiple 526976 _________________________________________________________________ sequential_12 (Sequential) multiple 2102528 _________________________________________________________________ sequential_14 (Sequential) multiple 8399360 _________________________________________________________________ global_average_pooling2d_1 ( multiple 0 _________________________________________________________________ dense_1 (Dense) multiple 5130 ================================================================= Total params: 11,184,778 Trainable params: 11,176,970 Non-trainable params: 7,808 _________________________________________________________________
---------------------------------------------------------------------------
训练集张量x(50000, 32, 32, 3)? ?y(50000,)
测试集张量大小：(10000, 32, 32, 3) (10000,)
leNet-5卷积神经网络参数为11,184,778，待优化参数为11,176,970，总的不需要优化参数为：7,808。
现在计算装备数据到显卡需要多少内存：
1 兆字节(MB)=1048576 字节(B)
在计算机中，一个float类型的变量，至少需要占4B内存，Python语言中float内存占用更多。那么也是就是说，单就存储网格参数，就需要42.67MB内存，实际上，网络的训练膜过程中还需要缓存计算图模型，梯度信息，输入和中间计算结果等，其中梯度相关运算占用资源非常多。
那么实际运行中，到底要消耗多少没存，我们需要使用可视化工具，监视TensorFlow在计算过程中的参数的变化与消耗的内存占多少。
接下来的解决方法
1.调小批量batch size.
2.减少输入层的input数量。
后续写出代码示例?