计算Featuremap
计算感受野
设输入层为第0层,输出层为第n层,从n向0来倒推: 例:在CNN网络中,图A经过核为3x3,步长为2的卷积层,ReLU激活函数层,BN层,以及一个步长为2,核为22的池化层后,再经过一个33的的卷积层,步长为1,此时的感受野是?
R
F
n
=
1
RF_n=1
RFn?=1
R
F
n
?
1
=
(
1
?
1
)
?
1
+
3
=
3
RF_{n-1}=(1-1)*1+3=3
RFn?1?=(1?1)?1+3=3
R
F
n
?
2
=
(
3
?
1
)
?
2
+
2
=
6
RF_{n-2}=(3-1)*2+2=6
RFn?2?=(3?1)?2+2=6
R
F
n
?
3
=
(
6
?
1
)
?
2
+
3
=
13
RF_{n-3}=(6-1)*2+3=13
RFn?3?=(6?1)?2+3=13 感受野为13
引起过拟合
在其他条件不变的前提下,以下哪种做法容易引起机器学习中的过拟合问题 正确答案: D
A、增加训练集量 B、减少神经网络隐藏层节点数 C、删除稀疏的特征 S D、SVM算法中使用高斯核/RBF核代替线性核
避免过拟合的方法:正则化方法,强制减少参数,增大训练数据集。 对于B,过拟合是太多的参数引起的。神经网络减少隐藏层节点,就是在减少参数,只会将训练误差变高,不会导致过拟合。 对于D,svm高斯核函数比线性核函数模型更复杂,容易过拟合
径向基(RBF)核函数/高斯核函数的说明 这个核函数可以将原始空间映射到无穷维空间。对于参数 ,如果选的很大,高次特征上的权重实际上衰减得非常快,实际上(数值上近似一下)相当于一个低维的子空间;反过来,如果选得很小,则可以将任意的数据映射为线性可分——当然,这并不一定是好事,因为随之而来的可能是非常严重的过拟合问题。不过,总的来说,通过调整参数 ,高斯核实际上具有相当高的灵活性,也是 使用最广泛的核函数 之一。
机器学习题目:https://blog.csdn.net/will130/article/details/50706294
|