计算机系统应用教程网站

网站首页 > 技术文章 正文

Day186:L/A-Softmax loss

btikc 2024-09-10 11:44:04 技术文章 8 ℃ 0 评论

在学习中,对这个感兴趣,但是,用不到,那就大概了解一下吧(这篇博客有详细的介绍https://www.cnblogs.com/heguanyou/p/7503025.html)

区别

A-Softmax与L-Softmax的最大区别在于A-Softmax的权重归一化了,而L-Softmax则没。A-Softmax权重的归一化导致特征上的点映射到单位超球面上,而L-Softmax则没有这个限制,这个特性使得两者在几何的解释上是不一样的。

如果在训练时两个类别的特征输入在同一个区域时,如下图10所示。A-Softmax只能从角度上分度这两个类别,也就是说它仅从方向上区分类,分类的结果如图11所示;而L-Softmax,不仅可以从角度上区别两个类,还能从权重的模(长度)上区别这两个类,分类的结果如图12所示。在数据集合大小固定的条件下,L-Softmax能有两个方法分类,训练可能没有使得它在角度与长度方向都分离,导致它的精确可能不如A-Softmax。




链接:https://www.zhihu.com/question/63247332/answer/222347446

Tags:

本文暂时没有评论,来添加一个吧(●'◡'●)

欢迎 发表评论:

最近发表
标签列表