2023/11/14 新增 VanillaNet5 VanillaNet13 🍀

论文地址：https://arxiv.org/pdf/2305.12972.pdf

代码地址：https://github.com/huawei-noah/VanillaNet

在基础模型的核心是“多样性即不同”，这一哲学在计算机视觉和自然语言处理方面取得了惊人的成功。然而，优化和Transformer模型固有的复杂性带来了挑战，需要转向简洁性的范式。在这项研究中，我们介绍了VanillaNet，这是一种拥抱设计优雅的神经网络架构。通过避免高深度、快捷方式和像自注意力这样的复杂操作，VanillaNet既简洁又强大。每一层都经过精心设计，紧凑而直观，训练后修剪非线性激活函数以恢复原始架构。VanillaNet克服了固有复杂性的挑战，使其非常适用于资源受限的环境。其易于理解和高度简化的架构为高效部署开辟了新的可能性。广泛的实验表明，VanillaNet的性能与著名的深度神经网络和视觉Transformer相媲美，展示了深度学习中极简主义的威力。VanillaNet的这一前瞻性之旅具有重要的潜力，可以重新定义基础模型的格局，挑战现状，为优雅且有效的模型设计开辟新的路径

<