AtomNAS 的设计是为了使搜索空间更加细致。

首先，它把卷积（一般是1x1卷积）- depthwise - 卷积（一般是1x1卷积）定义为atomic block（原子block）


然后这在这上面进行精细搜索。包括通道数目、操作类型。


其效果给定flogs的前提下，达到 了sota。（高于 efficientnet）


具体作法为：

download

用的是darts那一套。


并且用了我的L1 norm来迫使许多值落在0附近，这样要保证搜索完不需要重新训练一遍。


需要重新计算BN（recalculate BN）。


效果：在imagenet上相同flops可在77.6 vs 76.3 efficientnet

返回博客目录 浏览377次