pytorch排查loss值出现nan的情况

问题

跑实验室时出现了损失值为nan(下图所示)
在这里插入图片描述

排查

因为有一些判断所以用了bd_index = torch.where(s_label != o_label)[0] 语句来选出满足条件的下标,这样做可能返回一个空列表(不满足条件时),因为后续有用到 torch.log() 函数来计算,所以如果是空列表放进去就会出现loss = nan,但是不同情况得具体分析,排查的过程最好用的就是使用语句 with torch.autograd.detect_anomaly(): 来将训练代码包裹起来(如下图所示),这样就能迅速定位到出现空值的点(平时训练时得去掉,会拖慢速度)

在这里插入图片描述
最终定位到 torch.log() 处,最终解决办法就是加上常量 log_prob = torch.log(prob + 1e-7) 这样就不会空值

运行成功:
在这里插入图片描述

猜你喜欢

转载自blog.csdn.net/qq_56039091/article/details/127675557
今日推荐