王广润 Do It

2019-12-6 17:45

嘟嘟

《Efficient Hyper-parameter Optimization for NLP Applications》

最近在开展AutoML的工作。已经在NAS(网络结构搜索)上取得了一定的成绩,HO(超参数搜索上)也在进行中。HO是一个特别困难的问题,从Begio的研究以来,研究的工作很少,取得成绩的不多。总结现有几篇老旧的HO工作如下。


如题这篇工作是IBM的一个工作,发表在NLP顶级会议EMNLP 2015上。以往的HO都是BO,用的是贝叶斯优化,用少量的训练次数,希望能够快速估计该套参数的性能。但是一旦数据集增大,则即便训练少的次数,训练时间也可能非常长。这篇文章有所不同,想分阶段来进行,来解决训练集过大的问题 。它早期阶段想用少量的训练样本来对超参数进行进行粗挑,后期用较多的训练样本来精挑。搜索过程依然用的是贝叶斯搜索的方法。


这个工作的搜索算法也算是比较有意思:首先将训练集定义成: t_1, t_2, ..., t_i, ..., t_s, 其中 ts为全体训练集,后面每一个t都比前面一个大。s代表阶段数。起初先初始化k套餐数。


{
然后每个阶段之初,先eval一下这个阶段(所谓eval就是相当于用这k套参数进行训练和测试)。然后再根据这个K套参数,记为V。


用得用V进行贝叶斯搜索,得到新的一套参数,然后用这套参数,进行eval。然后将所eval过的参数,加入V中


不停重得上述【】。

然后还是所从搜索到今得到的所有的参数中,保留最优的K套参数,进入下一个阶段t_i。
}

重复{}.

参考我的主页:

浏览104次