Learning Activation Functions to Improve Deep Neural Networks（APL激活函数）

Learning Activation Functions to Improve Deep Neural Networks

  提出了APL激活函数。

公式与示意图

  1）输入为NHW，令它们为maps-1，每张为map-1

  2）每张map-1的每个点会通过K种不同的分段函数（故APL会有2KHW个参数），则一张map-1会得到K张map-2。
  再将这K张中间map-2进行element-sum，得到1张map-3。

  3）经过2），我们会得到N张map-3，对这N张map-3卷积