嘟嘟

《Efficient Hyper-parameter Optimization for NLP Applications》

最近在开展AutoML的工作。已经在NAS(网络结构搜索)上取得了一定的成绩，HO（超参数搜索上）也在进行中。HO是一个特别困难的问题，从Begio的研究以来，研究的工作很少，取得成绩的不多。总结现有几篇老旧的HO工作如下。


如题这篇工作是IBM的一个工作，发表在NLP顶级会议EMNLP 2015上。以往的HO都是BO，用的是贝叶斯优化，用少量的训练次数，希望能够快速估计该套参数的性能。但是一旦数据集增大，则即便训练少的次数，训练时间也可能非常长。这篇文章有所不同，想分阶段来进行，来解决训练集过大的问题 。它早期阶段想用少量的训练样本来对超参数进行进行粗挑，后期用较多的训练样本来精挑。搜索过程依然用的是贝叶斯搜索的方法。


这个工作的搜索算法也算是比较有意思：首先将训练集定义成： t_1, t_2, ..., t_i, ..., t_s， 其中 ts为全体训练集，后面每一个t都比前面一个大。s代表阶段数。起初先初始化k套餐数。


{
然后每个阶段之初，先eval一下这个阶段（所谓eval就是相当于用这k套参数进行训练和测试）。然后再根据这个K套参数，记为V。

【
用得用V进行贝叶斯搜索，得到新的一套参数，然后用这套参数，进行eval。然后将所eval过的参数，加入V中
】

不停重得上述【】。

然后还是所从搜索到今得到的所有的参数中，保留最优的K套参数，进入下一个阶段t_i。
}

重复{}.

参考我的主页：

浏览295次