Angel中的传递函数

1. Angel中的传递函数有:

名称 表达式 说明
Sigmoid Angel中的传输函数 - 图1 将任意实数变成概率
tanh Angel中的传输函数 - 图2 将任意实数变成-1到1之间的数
relu Angel中的传输函数 - 图3) 丢弃负的部分
dropout Angel中的传输函数 - 图4%20<%20\eta) 随机置0
identity Angel中的传输函数 - 图5 原样输出

下图给出了一些常用的传递函数(部分Angel中没有提供):传递函数

2. 传递函数的json表示

2.1 无参数的传递函数

  1. "transfunc": "sigmoid",
  3. "transfunc": {
  4.     "type": "tanh"
  5. }

2.2 有参数的传递函数

  1. "transfunc": "dropout",
  3. "transfunc": {
  4.     "type": "dropout",
  5.     "proba": 0.5,
  6.     "actiontype": "train"
  7. }

注: 由于dropout传递函数在训练与测试(预测)中计算方式不一样, 所以要用actiontype表明是哪种场景, train/inctrain, predict.