优化方法

特点

缺点

手动调参

根据经验手动调参，往往需要结合一些启发式规则

在面对大量的参数优选时，对研究者的专业要求很高

网络搜索

对每一个参数设置一个范围和步长进行穷举

在超参数较多的情况下，计算量巨大

随机搜索

以典型算法贝叶斯优化为例，他们通常将超参数的选择建立成一个优化模型进行求解

涉及大量数据，学习规模大，对深度学习的并行计算、分布式计算的求解效率低