网站首页 amsgrad

• 

  梯度下降优化算法概述

  梯度下降优化算法概述平时我们说的训练神经网络就是最小化损失函数的过程，损失函数的值衡量了模型在给定数据集下的表现（拟合）能力。图1损失函数J如图1所示，B点为函数最低点，设A点为初始值，那么优化器的作用就是指引初始值A点...

  2024-09-05 btikc 技术文章 10 ℃ 0 评论
• 

  拳打Adam，脚踢SGD:北大提出全新优化算法AdaBound

  为什么Adam不够好、SGD不够快？因为新的AdaBound已经提出来了啊。2018年12月21日，ICLR2019论文接收结果揭晓。据统计，ICLR2019共收到1591篇论文投稿，相比去年的996篇增...

  2024-09-05 btikc 技术文章 10 ℃ 0 评论