|
????????深度学习除了大量数据之外，还可能存在内存容量和总线带宽等瓶颈，其中内存容量，需要考虑将大量的权重和偏置等等参数数据放在内存里面；总线带宽的瓶颈，主要考虑流经CPU（或GPU）总线的数据超过某个限制。对于这些瓶颈的考虑，我们应该尽可能减少流经网络的数据的位数。
????????目前的浮点数主要是32位和64位，提高位数也就是提高精度对于很多行业特别重要，但是在深度学习领域就显得不怎么重要了，因为从我们前面学习到的各种点积运算、填充扩大、池化缩减、甚至图片的旋转，增亮等等操作，实际上可以发现即便图片有一些“噪声”，对于输出的结果其实影响是非常小的，也就是说神经网络的健壮性就显得实数的精度没有很大的意义。
我们现在来使用16位的半精度浮点数（half float），看下这个效果有没有很大的变化，还是以MNIST数据集为例：
import numpy as np
import matplotlib.pyplot as plt
from deepconv import DeepConvNet
from dataset.mnist import load_mnist
#加载MNIST数据集
(x_train,t_train),(x_test,t_test)=load_mnist(flatten=False)
#深度学习CNN
network=DeepConvNet()
#加载生成的权重参数文件
network.load_params('DeepCNN_Params.pkl')
x_test=x_test[:10000]
print('64位浮点数的识别率{:.3%}'.format(network.accuracy(x_test,t_test)))
#转换成16位浮点数
x_test=x_test.astype(np.float16)
for param in network.params.values():
param[...]=param.astype(np.float16)
#print(param.shape)
print('16位浮点数的识别率{:.3%}'.format(network.accuracy(x_test,t_test)))
64位浮点数的识别率99.290%
16位浮点数的识别率99.290%
两者的识别精度是一样的，也证明了神经网络的健壮性，对于这种半精度浮点数会在以后大量使用，实际上，NVIDIA的Pascal框架的GPU已支持半精度浮点数的运算。
其中代码中出现了(...)三个点，这个是代表什么意思呢？
我们可以打印param来看下形状：
(16, 1, 3, 3)
(16,)
(16, 16, 3, 3)
(16,)
(32, 16, 3, 3)
(32,)
(32, 32, 3, 3)
(32,)
(64, 32, 3, 3)
(64,)
(64, 64, 3, 3)
(64,)
(1024, 50)
(50,)
(50, 10)
(10,)
有很多形状（多种维度的）
我的理解就是在指定的维度是泛指。直接看代码可能更容易理解
x=np.random.rand(3,4)
array([[ 0.01441032, ?0.75985405, ?0.5696051 , ?0.41236632],
? ? ? ?[ 0.01058361, ?0.76136913, ?0.94842466, ?0.97565503],
? ? ? ?[ 0.38687359, ?0.48324047, ?0.16415143, ?0.43345319]])
x[...,2]#在第二个维度的第三列
?array([ 0.5696051 , ?0.94842466, ?0.16415143])
当然param[...]直接使用param一样可以！
|