网站首页 > 技术文章 正文
在确定检测任务和模型构建完成后,随之需要对训练的准则Criterion进行实现,可称之为损失函数或代价函数,简明而言,训练过程中真实值和计算值的误差。
分割常见的损失函数如下
- cross entropy loss:交叉熵,通用于不同类样本量在一个量级的任务;
- focal loss:交叉熵的改进版本,增加两个权重,聚焦不平衡样本任务;
- dice loss:样本极不平衡可用,反向梯度值太大,训练不稳定;
- iou loss:较多见于目标检测任务的回归任务;
cross entropy loss
小拓展: md写公式需要单元:,;
方法一,直接调用函数
seg_loss = torch.nn.CrossEntropyLoss()
方法二,根据公式实现
class SimpleCrossEntropyLoss(nn.Module):
# H(p,p)=p*log(q)
def __init__(self):
super().__init__()
self.logsoftmax_func = nn.LogSoftmax(dim=1)
# torch.log(torch.nn.Softmax(dims=1)(inputs))
self.nllloss_func = nn.NLLLoss()
pass
def forward(self, inputs, target):
x = self.logsoftmax_func(inputs)
loss = self.nllloss_func(x, target)
return loss
pass
seg_loss = SimpleCrossEntropyLoss()
nn.NLLLoss()实现举例
令 ,一维二维计算示例如下。
猜你喜欢
- 2024-12-18 深度学习工程师必看:更简单的超分辨重构方法拿走不谢
- 2024-12-18 机器学习:理解损失和损失函数 损失函数是干嘛的
- 2024-12-18 NeurIPS 2024 | 大模型的词表大小,同样适用于Scaling Law
- 2024-12-18 CLIP微调简明教程 微调怎么调
- 2024-12-18 一文读懂线性回归、岭回归和Lasso回归
- 2024-12-18 大模型预训练的降本增效之路——从信息密度出发
- 2024-12-18 大模型:BERT模型和GPT模型的损失函数
- 2024-12-18 ISO随便开!神经网络学习降噪算法解析
- 2024-12-18 20K star!搞定 LLM 微调的开源利器
- 2024-12-18 “升维的降维打击”-参数训练的驻点分析
你 发表评论:
欢迎- 最近发表
- 标签列表
-
- oraclesql优化 (66)
- 类的加载机制 (75)
- feignclient (62)
- 一致性hash算法 (71)
- dockfile (66)
- 锁机制 (57)
- javaresponse (60)
- 查看hive版本 (59)
- phpworkerman (57)
- spark算子 (58)
- vue双向绑定的原理 (68)
- springbootget请求 (58)
- docker网络三种模式 (67)
- spring控制反转 (71)
- data:image/jpeg (69)
- base64 (69)
- java分页 (64)
- kibanadocker (60)
- qabstracttablemodel (62)
- java生成pdf文件 (69)
- deletelater (62)
- com.aspose.words (58)
- android.mk (62)
- qopengl (73)
- epoch_millis (61)
本文暂时没有评论,来添加一个吧(●'◡'●)