LeakyReLU
keras.layers.advanced_activations.LeakyReLU(alpha=0.3)
ユニットがアクティブでないときに微少な勾配を可能とするRectified Linear Unitの特別なバージョン：
f(x) = alpha * x for x < 0,
f(x) = x for x >= 0.
入力のshape
任意．このレイヤーをモデルの最初のレイヤーとして利用する場合，
input_shapeというキーワード引数（サンプル数の軸を含まない整数のタプル）を指定してください．
出力のshape
入力のshapeと同じ．
引数
- alpha：0以上の浮動小数点数．負の部分の傾き．
参考文献
PReLU
keras.layers.advanced_activations.PReLU(alpha_initializer='zeros', alpha_regularizer=None, alpha_constraint=None, shared_axes=None)
Parametric Rectified Linear Unit：
f(x) = alphas * x for x < 0,
f(x) = x for x >= 0,
alphasはxと同じshapeを持つ学習対象の配列です．
入力のshape
任意．このレイヤーをモデルの最初のレイヤーとして利用する場合，
input_shapeというキーワード引数（サンプル数の軸を含まない整数のタプル）を指定してください．
出力のshape
入力のshapeと同じ．
引数
- alpha_initializer：重みを初期化する関数．
- alpha_regularizer：重みを正則化する関数．
- alpha_constraint：重みに対する制約．
- shared_axes：活性化関数で共有する学習パラメータの軸．
例えば，incoming feature mapsが，出力shapeとして
(batch, height, width, channels)を持つ，2Dコンボリューションからなるもので，空間全体で各フィルターごとに一組しかパラメータを持たないたない場合にそのパラメータを共有したければ，shared_axes=[1, 2]とセットして下さい．
参考文献
ELU
keras.layers.advanced_activations.ELU(alpha=1.0)
Exponential Linear Unit:
f(x) = alpha * (exp(x) - 1.) for x < 0,
f(x) = x for x >= 0.
入力のshape
任意．このレイヤーをモデルの最初のレイヤーとして利用する場合，
input_shapeというキーワード引数（サンプル数の軸を含まない整数のタプル）を指定してください．
出力のshape
入力のshapeと同じ．
引数
- alpha：負の部分のscale．
参考文献
ThresholdedReLU
keras.layers.advanced_activations.ThresholdedReLU(theta=1.0)
Thresholded Rectified Linear Unit:
f(x) = x for x > theta
f(x) = 0 otherwise.
入力のshape
任意．このレイヤーをモデルの最初のレイヤーとして利用する場合，
input_shapeというキーワード引数（サンプル数の軸を含まない整数のタプル）を指定してください．
出力のshape
入力のshapeと同じ．
引数
- theta：0以上の浮動小数点数．活性化する閾値．
参考文献