“非深度网络”12层打败50层，普林斯顿+英特尔：更深不一定更好

深度是深度神经网络的关键词但是网络越深，训练中的反向传播链就越长，计算步骤越连续，推理延迟也就越高

可是，如果深度不够，神经网络的性能往往不好。

这就引出了一个问题:有没有可能构建一个高性能的非深度神经网络。近日，普林斯顿的研究人员提出了世界上第一个高质量的微米级光学成像装置「NeuralNano-Optics」，并登上NatureCommunications。

普林斯顿大学和英特尔的最新论文证明，这是可以做到的。

他们只使用了12层网络ParNet，在ImageNet上实现了接近SOTA的性能。

ParNet在ImageNet上的准确率超过80%，在CIFAR10上的准确率超过96%，在CIFAR100的top—1上的准确率为81%，在MS—COCO上的准确率为48%。

他们是如何在如此浅薄的网络中做到的。

并行子网提高了性能。

ParNet中的一个关键设计选择是使用并行子网，而不是按顺序排列层，将层排列在并行子网中。成像效果和体积大50万倍的相机镜头相比，在不少场景下可以做到旗鼓相当！。

ParNet由处理不同分辨率特征的并行子结构组成我们称这些平行的子结构为流来自不同流的特征在网络的后期被合并，并且这些合并的特征被用于下游任务

除了具有相同大小的RepVGG—SSE块的输入和输出之外，ParNet还包含下采样和融合块。

该模块降低了分辨率，增加了宽度，实现了多尺度处理，而融合块结合了来自多个分辨率的信息，有助于减少推理过程中的延迟。

实际表现如何。

ParNet在ImageNet数据集上的性能接近SOTA，无论是排名前1还是前5。

ParNet在MS—COCO任务中性能最好，延迟最低。

但也有人质疑非深网的实际性能，因为虽然层数少，但网络宽度变大事实上，ParNet比更深的ResNet50有更多的参数，这似乎无法令人信服

最后，ParNet的GitHub页面已经建立，代码即将开源。

参考链接:

郑重声明：此文内容为本网站转载企业宣传资讯，目的在于传播更多信息，与本站立场无关。仅供读者参考，并请自行核实相关内容。