【PyTorch】教程：torch.nn.GELU

torch.nn.GELU

原型

CLASS torch.nn.GELU(approximate='none')

参数

• approximate (str, optional) – gelu 近似算法用 none 或者 tanh， 默认为 none;

定义

高斯误差线性单元函数

$$\text{GELU}(x)=x\ast \varphi (x)$$

其中 $\varphi (x)$ 为高斯分布的累积分布函数；

当参数为 tanh， Gelu 估计为

$$\text{GELU}(x)=0.5\ast x\ast (1+\text{Tanh}((2/\pi )\ast (x+0.044715\ast x^3)))$$

图

代码

import torch
import torch.nn as nn

m = nn.GELU()
input = torch.randn(4)
output = m(input)

print("input: ", input)   # input:  tensor([-1.2732, -0.4936, -0.8219,  0.1772])
print("output: ", output) # output:  tensor([-0.1292, -0.1534, -0.1690,  0.1010])

【参考】

GELU — PyTorch 1.13 documentation