【激活函数】Mish激活函数详解

2019年

● Mish公式：

● Mish图像：

● 导数：

● Mish优点：

● 和其他激活函数的比较：

代码实现：

def mish(x):
    return x * torch.tanh(F.softplus(x))

# used as class:
class Mish(nn.Module):
    def __init__(self):
        super().__init__()

    def forward(self, x):
        return x * (torch.tanh(F.softplus(x)))