一、神经网络的超参数：
层数、每层神经元个数、激活函数、学习率（各种优化算法中包含的参数）、正则化参数、mini-batch大小。
优化难点：
超参数优化是组合优化问题
评估一组超参数配置的时间代价非常高
优化方法：
网格搜索，随机搜索、贝叶斯优化、动态资源分配、神经网络搜索。g
网格搜索grid search：
尝试所有超参数组合寻址合适的超参数配置。
随机搜索：
超参数对模型性能影响程度不一样。
采用网格搜索会在不重要的参数上进行不必要的尝试。
一种改进方法是对超参数进行随机组合，然后选取一个性能最好的配置，就是随机搜索。
贝叶斯优化
自适应的超参数优化方法。 根据已有的实验的超参数组合，来预测下一个可能带来最大收益的组合。根据当前已有试验的超参数组合，来预测下一个可能带来最大收益的组合。
🍇 假设超参数优化的函数f(x)服从高斯过程，则p(f(x)|x)为一个正态分布。
🍇 贝叶斯优化 根据已有的N组试验结果?l来建模高斯过程，并计算f(x)的后验分布?
。
🍇 为使分布接近真实分布，需要足够多的采样，但成本高，常要求用少量的样本接近真实的分布，故定义一个受益函数来判断一个样本是否能给建模后验概率提供更多的收益。收益函数定义有多种方式，一个常用的就是期望改善。
一种常用的贝叶斯方法为时序模型优化（SMBO）。
迭代t次，每次取收益最大的x，将 x 与对应的 y' 更新到超参数集合。
?动态资源分配
如果在较早的阶段可以判断出超参组合效果差，那么可以中止这组配置的评估。将更多的资源留给其他的配置。
将有限的计算资源，分配给更有价值的参数。
逐次减半获取最优的配置。?
?过拟合与正则化
??如何提高神经网络的泛化能力：
🍇 l1 、l2正则化。
https://blog.csdn.net/wangheng673/article/details/84451981
正则化之所以能够降低过拟合的原因在于，正则化是结构风险最小化的一种策略实现。
给loss function加上正则化项，能使得新得到的优化目标函数h = f+normal，需要在f和normal中做一个权衡（trade-off），如果还像原来只优化f的情况下，那可能得到一组解比较复杂，使得正则项normal比较大，那么h就不是最优的，因此可以看出加正则项能让解更加简单，符合奥卡姆剃刀理论，同时也比较符合在偏差和方差（方差表示模型的复杂度）分析中，通过降低模型复杂度，得到更小的泛化误差，降低过拟合程度。
L1正则化和L2正则化：
L1正则化就是在loss function后边所加正则项为L1范数，加上L1范数容易得到稀疏解（0比较多）。
L2正则化就是loss function后边所加正则项为L2范数的平方，加上L2正则相比于L1正则来说，得到的解比较平滑（不是稀疏），但是同样能够保证解中接近于0（但不是等于0，所以相对平滑）的维度比较多，降低模型的复杂度。
🍇 earlystoping（提前停止）。 在另一篇博客有叙述。
🍇 dropout。
🍇 数据增强。
?
