人脸的loss
1）Softmax 是最常见的人脸识别损失函数，然而，Softmax 不会显式的优化类间和类内距离的，所以通常不会有太好的性能。
2）Triplet Loss 作为一种 Metric Learning，也在人脸识别中广泛使用。
相比 Softmax，其特点是可以方便训练大规模 ID(百万，千万)的数据集，不受显存的限制。但是相应的，因为它的关注点过于局部，使得性能无法达到最佳且训练需要的周期非常长。
3）目前，用cos-loss普遍比tripelet-loss要好。有各种cos-loss的变种。
由于 Tripelet Loss 训练困难，人们逐渐寻求结合 Metric Learning 思想来改进 Softmax 的思路，其中 SphereFace是其中的佼佼者，作为 17 年提出的一种方法，在当时达到了 state-of-the-art。
在具体实现中，为了避免加入的 margin(即 m) 过大，引入了新的超参 λ，和 Softmax 一起联合训练。
回归问题可以用哪些loss?
1）0-1损失
是在分类问题中你实际上需要的. 不幸的是, 这是非凸优化问题. 由于最优化问题会变得或多或少的不好解, 因此并不实用。
2）hinge loss (合页损失)
常用于“maximum-margin”的算法。
3）cross entropy loss
导出很好的概率校准。因此如果你不仅得到二值预测, 还可以得出结果的概率, 这个损失函数是一个很好的选择(如比如逻辑回归)。
缺点是它的解在数据空间中是不稀疏的, 它比合页损失函数更容易受到离群点的影响。
4）square loss or Mean squared error
预测值和真实值之间的平方误差总和。
5）指数损失函数
非常容易受离群点的影响. 它主要适用于Adaboost中, 因为它在一个简单有效的boosting算法中有效果。
mask的误差函数
因为我们的目标是预测一个mask，所以误差函数是对二分类的cross entropy loss。