四、特殊函数

1. 这里给出机器学习中用到的一些特殊函数。

4.1 sigmoid 函数

1. sigmoid函数：

   

   • 该函数可以用于生成二项分布的 参数。
   • 当 很大或者很小时，该函数处于饱和状态。此时函数的曲线非常平坦，并且自变量的一个较大的变化只能带来函数值的一个微小的变化，即：导数很小。

   

4.2 softplus 函数

1. softplus函数： 。

   • 该函数可以生成正态分布的 参数。
   • 它之所以称作softplus，因为它是下面函数的一个光滑逼近： 。

   

2. 如果定义两个函数：

   

   则它们分布获取了 的正部分和负部分。

   根据定义有： 。而 逼近的是 ， 逼近的是 ，于是有：

   

3. sigmoid和softplus函数的性质：

   

   其中 为反函数。

   也称作logit函数。

   

4.3 伽马函数

1. 伽马函数定义为：

   

   

   性质为：

   • 对于正整数 有： 。

   • ，因此伽马函数是阶乘在实数域上的扩展。

   • 与贝塔函数的关系：

     

   • 对于 有：

     

     则可以推导出重要公式： 。

   • 对于 ，伽马函数是严格凹函数。

2. 当 足够大时，可以用Stirling 公式来计算Gamma函数值： 。

4.4 贝塔函数

1. 对于任意实数 ，定义贝塔函数：

   

   其它形式的定义：

   

2. 性质：

   • 连续性：贝塔函数在定义域 内连续。

   • 对称性： 。

   • 递个公式：

     

   • 当 较大时，有近似公式：

     

   • 与伽马函数关系：

     • 对于任意正实数 ，有：

       

     • 。