ICLR 2020 paper 9: AtomNAS

嘟嘟

2019-10-6 20:32

AtomNAS 的设计是为了使搜索空间更加细致。

首先,它把卷积(一般是1x1卷积)- depthwise - 卷积(一般是1x1卷积)定义为atomic block(原子block)


然后这在这上面进行精细搜索。包括通道数目、操作类型。


其效果给定flogs的前提下,达到 了sota。(高于 efficientnet)


具体作法为:

download

用的是darts那一套。


并且用了我的L1 norm来迫使许多值落在0附近,这样要保证搜索完不需要重新训练一遍。


需要重新计算BN(recalculate BN)。


效果:在imagenet上相同flops可在77.6 vs 76.3 efficientnet

返回博客目录 浏览141次
1人转发了