:
模型中到底什么决定了效果
2024年09月10日 19:27
在工作过程中，我们训练模型时，到底是哪些因素影响最大？模型深度，模型宽度，head个数，head深度，输入大小，输出大小等等。
在工业界中，基于深度学习的检测模型尤其应用广泛。今年由于内部变动，接触了各种不同的项目和模型。发现一个规律，模型可以很小，但是数据量很大时，一样能提高效果。同时输入尺寸变大时，比做多少模型重构都有用，当然前提是backbone和head类似的前提下。
之前的模型臃肿的很，耗时不说，还占显存，这样其实batchsize大小也有影响。于是，我把模型的head大刀阔斧砍到很浅的程度，然后把backbone也砍掉了很多。发现耗时减少了很多，loss训练的时候并没有变化多大。然后我再部署到硬件时，增加输入尺寸为之前小尺寸的2倍，同时由于改变了模型的复杂度，数据增加了很多。于是效果比之前很大（比目前这个尺寸大了1.5倍）尺寸的效果还高了5-6个点。
这说明两个问题：1. 就是我砍了模型的backbone和head，增加了数据，模型的效果依然在提升，比输入尺寸更大的模型效果还好，那说明模型远远没有达到饱和，也就是说模型相对数据其实还是过于复杂的。2. 就是模型变小了，输入尺寸变大了，效果比之前小尺寸的模型效果好了太多，这说明相比较模型复杂度，更应该提升模型的输入尺寸以改善实际效果。
所以在工程上，不要追求什么模型的复杂度，说把输入尺寸减小，增加模型复杂度来提升效果。输入那么小，到模型输出时，降维到什么都没有了，哪里来的效果啊，别再做这些很外行的实验了。一句话，工程上计算量有限时就要尽量增加数据和增加输入尺寸。科研上嘛，反正也不受计算量限制，输入都不会很小，多增加数据，用强大模型。
From:https://www.cnblogs.com/jianyingzhou/p/18407104
本文地址: http://shuzixingkong.net/article/1933
为什么不推荐使用Stack Java已不推荐使用Stack，而是推荐使用更高效的ArrayDeque 为什么不推荐使用 性能低：是因为 Stack 继承自 Vector， 而 Vector 在每个方法中都加了锁。由于需要兼容老的项目，很难在原有的基础上进行优化，因此 Vector 就被淘汰掉了，使用
通过 virsh 在启动 qemu 虚拟机，可以通过 VNC 访问虚拟机，但无法通过设置的 SSH 的外部映射端口登录。首先在宿主机上查看虚拟机（csv\tpm\name）的网络配置，可以看到端口映射情况和当前网络的网段（10.0.10.0/24）。 $ virsh edit csv_tpm_nam
介绍 TreeSet和TreeMap在Java里有着相同的实现，前者仅仅是对后者做了一层包装，也就是说TreeSet里面有一个TreeMap(适配器模式)。 Java TreeMap实现了SortedMap接口，也就是说会按照key的大小顺序对Map中的元素进行排序，key大小的评判可以通过其本身的
引言 近年来，随着软件开发行业的蓬勃发展，越来越多的编程语言和框架进入了市场，成为了不同类型软件开发项目的首选工具。然而，在中国的开发者社区中，.NET 开发人员的工资水平相比其他技术栈，如 Java、Python 和前端开发人员，往往偏低。这种现象引发了广泛的讨论和思考：为什么 .NET 作为一个
本文记录我学习 CPF 框架的笔记，本文记录我阅读 CPF 框架，学习到了如何在 dotnet C# 里面获取到 X11 的触摸信息，获取到多指触摸以及触摸点的面积和触摸点压感等信息的方法 开始之前，先感谢小红帽开源的 CPF 框架，这是一个纯 C# dotnet 实现的跨平台 UI 框架，支持Wi
代码整洁之道 简介： 本书是编程大师“Bob 大叔”40余年编程生涯的心得体会的总结，讲解要成为真正专业的程序员需要具备什么样的态度，需要遵循什么样的原则，需要采取什么样的行动。作者以自己以及身边的同事走过的弯路、犯过的错误为例，意在为后来者引路，助其职业生涯迈上更高台阶。 本书适合所有程序员阅读，
代码整洁之道 简介： 本书是编程大师“Bob 大叔”40余年编程生涯的心得体会的总结，讲解要成为真正专业的程序员需要具备什么样的态度，需要遵循什么样的原则，需要采取什么样的行动。作者以自己以及身边的同事走过的弯路、犯过的错误为例，意在为后来者引路，助其职业生涯迈上更高台阶。 本书适合所有程序员阅读，
学习Redis基础类型：字符串、集合、有序集合、列表、哈希，每种类型有各自的特点和常用指令。掌握这些基础是熟练使用Redis的关键。更多指令需自行尝试。
