【人工智能的数学基础】函数的光滑化(Smoothing)

文章目录

【人工智能的数学基础】函数的光滑化(Smoothing)

1. 函数光滑化的定义

2. 函数光滑化的方法

(1) 人工选取光滑近似

⚪ max ⁡ ( x , y ) = lim ⁡ k → ∞ 1 k ln ⁡ ( e k x + e k y ) \max(x,y)=\mathop{\lim}_{k \to ∞}\frac{1}{k}\ln(e^{kx}+e^{ky}) max(x,y)=limk→∞​k1​ln(ekx+eky)

⚪ max ⁡ ( x 1 , x 2 , . . . , x n ) ≈ logsumexp ( x 1 , x 2 , . . . , x n ) \max(x_1,x_2,...,x_n)≈\text{logsumexp}(x_1,x_2,...,x_n) max(x1​,x2​,...,xn​)≈logsumexp(x1​,x2​,...,xn​)

⚪ onehot ( arg ⁡ max ⁡ ( x ) ) ≈ softmax ( x 1 , x 2 , . . . , x n ) \text{onehot}(\arg\max(x))≈\text{softmax}(x_1,x_2,...,x_n) onehot(argmax(x))≈softmax(x1​,x2​,...,xn​)

⚪ arg ⁡ max ⁡ ( x ) ≈ ∑ i = 1 n i × softmax ( x ) i \arg\max(x)≈\sum_{i=1}^{n}i\times \text{softmax}(x)_i argmax(x)≈∑i=1n​i×softmax(x)i​

⚪ accuracy = 1 ∣ B ∣ ∑ x ∈ B < 1 y ( x ) , p ( x ) > \text{accuracy}=\frac{1}{|\mathcal{B}|}\sum_{x \in \mathcal{B}}^{} <1_y(x),p(x)> accuracy=∣B∣1​∑x∈B​<1y​(x),p(x)>

⚪ F1-score = 2 ∑ x ∈ B p ( x ) y ( x ) ∑ x ∈ B p ( x ) + y ( x ) \text{F1-score} = \frac{2\sum_{x \in \mathcal{B}}^{} p(x)y(x)}{\sum_{x \in \mathcal{B}}^{}p(x)+y(x)} F1-score=∑x∈B​p(x)+y(x)2∑x∈B​p(x)y(x)​

⚪ max ⁡ ( x 1 , x 2 ) = x 1 + x 2 + ( x 1 − x 2 ) erf ( μ ( x 1 − x 2 ) ) 2 \max(x_1,x_2) = \frac{x_1+x_2+(x_1-x_2) \text{erf}(\mu (x_1-x_2))}{2} max(x1​,x2​)=2x1​+x2​+(x1​−x2​)erf(μ(x1​−x2​))​

⚪ max ⁡ ( x 1 , x 2 ) = ( x 1 − x 2 ) σ ( β ( x 1 − x 2 ) ) + x 2 \max(x_1,x_2) = (x_1-x_2)\sigma(\beta(x_1-x_2))+x_2 max(x1​,x2​)=(x1​−x2​)σ(β(x1​−x2​))+x2​

(2) 使用Dirac函数近似

⚪构造取整函数的光滑近似

Smooth function and smoothing technique.

机器学习中的优化方法是基于梯度的，因此光滑的模型更利于优化(其梯度是连续的)。然而机器学习模型中经常存在非光滑函数(如激活函数)，比如常用的ReLU激活函数 max ⁡ ( 0 , x ) \max(0,x)