ICLR2020 paper 10: top down training

嘟嘟

2019-10-6 21:43

TOP-DOWN TRAINING FOR NEURAL NETWORKS:


这篇文章的motivation非常清楚。神经网络可以分为两部分,一部分是特征提取器(以卷积为主),一部分是分类器(以fc为主)。


传统的训练方法是一块训练这两部分内容。但据我的经验,特征提取器部分可能训练不充分,而分类器部分则容易训练过度。使得分类器部分过拟合于未充分训练的特征提取器上,导致泛化能力不强。


为此,作者想到,

(1)先联合训练到收敛,得到一个棒棒的分类器。

(2) 固定分类器,训练特征提取层。

(3) 再固定特征提取层的后面部分+分类器,训练前面的特征提取层

(4) 直至最后训练第一层。


该方法称为top down training。可惜只在小数据集上实验。如有imagenet数据集的结果更好。

返回博客目录 浏览103次
1人转发了