如何判断训练中的模型已经收敛
德鲁假大叔 2024-06-15 08:01:14 阅读 84
可以通过查看训练集和测试集的loss变化来判断。
一、loss的变化情况分为以下几种情况:
1.train loss 下降,val loss下降: 表明网络还在学习
2. train loss下降,val loss稳定:网络过拟合
3.train loss稳定,val loss下降:数据集有问题
4.train loss稳定,val loss稳定:可能已经收敛,或者学习遇到瓶颈,可以调小学习率试试
5.train loss上升,val loss上升:网络结构设计有问题,或者训练参数设置不当等,及时停止学习,调整代码
二、根据训练曲线判断是否收敛
1.欠拟合:欠拟合一般有两种典型表现
①loss曲线趋于水平或维持相对较高的loss值
②训练结束时,train loss依然持续减少,且val loss 有较大波动
2.过拟合:过拟合指的是模型对训练集学习的太好,导致网络泛化能力差,在验证集上反而效果不好。
3.模型收敛:train loss 下降趋于稳定,val loss 下降也趋于稳定,且train loss 的值与val loss 的值相差不大
参考:机器学习如何判断模型训练是否充分_怎么看模型是否收敛_supermapsupport的博客-CSDN博客
https://blog.csdn.net/supermapsupport/article/details/123912542?utm_medium=distribute.pc_relevant.none-task-blog-2~default~baidujs_baidulandingword~default-1-123912542-blog-122102672.pc_relevant_landingrelevant&spm=1001.2101.3001.4242.2&utm_relevant_index=4
上一篇: 【合集】顶会2023 accepted papers地址及pdf下载合集(CVPR/ICML/AAAI/IJCAI/WWW/AISTATS/ICCV/ACM MM/ICLR)
下一篇: 揭秘人工智能:探索智慧未来
本文标签
声明
本文内容仅代表作者观点,或转载于其他网站,本站不以此文作为商业用途
如有涉及侵权,请联系本站进行删除
转载本站原创文章,请注明来源及作者。