嘟嘟
TOP-DOWN TRAINING FOR NEURAL NETWORKS:
这篇文章的motivation非常清楚。神经网络可以分为两部分，一部分是特征提取器（以卷积为主），一部分是分类器（以fc为主）。
传统的训练方法是一块训练这两部分内容。但据我的经验，特征提取器部分可能训练不充分，而分类器部分则容易训练过度。使得分类器部分过拟合于未充分训练的特征提取器上，导致泛化能力不强。
为此，作者想到，
(1)先联合训练到收敛，得到一个棒棒的分类器。
(2) 固定分类器，训练特征提取层。
(3) 再固定特征提取层的后面部分+分类器，训练前面的特征提取层
(4) 直至最后训练第一层。
该方法称为top down training。可惜只在小数据集上实验。如有imagenet数据集的结果更好。