目录

导数概念常见导数和激活导数python代码绘制激活函数微分概念和法则、积分概念微积分切线切面代码生成案例链式求导法则反向传播算法(重要)

一、概念

二、常见导数及激活导数

常见激活函数及其导数公式：

在神经网络中，激活函数用于引入非线性因素，使得神经网络能够拟合更加复杂的数据分布。没有激活函数的神经网络本质上只是一个线性模型，而添加了非线性激活函数后，神经网络可以表示非线性的决策边界。使得网络能够解决复杂的非线性问题。

三、python绘制以上激活函数

sigmoid函数:

Sigmoid函数将输入值映射到(0, 1)之间，常用于二分类问题的输出层。然而，它容易出现梯度消失问题，特别是在输入值接近0或1时，梯度接近于0，导致网络训练缓慢。

<code>import numpy as np

import matplotlib.pyplot as plot

#sigmoid公式

def sigmoid(x):

return 1/(1+np.exp(-x))

#绘制图形方法 func数学公式，可变参数x，图形标题title

def plot_activation_function(func,x,title):

y = func(x)

plot.plot(x,y) #传入x 和y

plot.title(title) #设置标题

plot.xlabel('x') #x轴

plot.ylabel('y') #y轴

plot.grid() #网格线

plot.show()

x_value = np.arange(-10,10,0.1) #x取值范围，-10 - 10 步长0.1

plot_activation_function(sigmoid,x_value,'sigmoid')

运行如下：

tanh函数：

Tanh函数将输入值映射到(-1, 1)之间，输出均值为0，有助于中心化数据。与Sigmoid函数类似，它也容易出现梯度消失问题，但程度相对较轻。

<code>import numpy as np

import matplotlib.pyplot as plot

#tanh公式 双曲正切函数（Tanh函数）

def tanh(x):

return np.tanh(x)

#绘制图形方法 func数学公式，可变参数x，图形标题title

def plot_activation_function(func,x,title):

y = func(x)

plot.plot(x,y) #传入x 和y

plot.title(title) #设置标题

plot.xlabel('x') #x轴

plot.ylabel('y') #y轴

plot.grid() #网格线

plot.show()

x_value = np.arange(-10,10,0.1) #x取值范围，-10 - 10 步长0.1

plot_activation_function(tanh,x_value,'tanh')

结果如下：

ReLU函数：

ReLU函数简单高效，能够解决梯度消失问题（在正数区域）。然而，它存在神经元“死亡”问题，即当输入小于0时，梯度为0，导致神经元无法更新。

<code>import numpy as np

import matplotlib.pyplot as plot

#ReLU函数（Rectified Linear Unit）

def relu(x):

return np.maximum(0, x)

#绘制图形方法 func数学公式，可变参数x，图形标题title

def plot_activation_function(func,x,title):

y = func(x)

plot.plot(x,y) #传入x 和y

plot.title(title) #设置标题

plot.xlabel('x') #x轴

plot.ylabel('y') #y轴

plot.grid() #网格线

plot.show()

x_value = np.arange(-10,10,0.1) #x取值范围，-10 - 10 步长0.1

plot_activation_function(relu,x_value,'ReLU')

执行如下:

Leaky ReLU函数:

Leaky ReLU函数通过引入一个小的斜率α，解决了ReLU函数中的“死亡”问题。它保留了ReLU函数的优点，同时避免了神经元无法更新的问题。

alpha=0.01是可变的，值可以根据实际情况定义

<code>import numpy as np

import matplotlib.pyplot as plot

# Leaky ReLU函数

def leaky_relu(x,alpha=0.01):

return np.where(x > 0, x, x*alpha) #x >0时，返回x,否则 x*0.01

#绘制图形方法 func数学公式，可变参数x，图形标题title

def plot_activation_function(func,x,title):

y = func(x)

plot.plot(x,y) #传入x 和y

plot.title(title) #设置标题

plot.xlabel('x') #x轴

plot.ylabel('y') #y轴

plot.grid() #网格线

plot.show()

x_value = np.arange(-10,10,0.1) #x取值范围，-10 - 10 步长0.1

plot_activation_function(leaky_relu,x_value,'leaky_relu')

返回结果：

#ELU函数（Exponential Linear Unit）:

ELU函数融合了ReLU和Leaky ReLU的优点，具有负数饱和区域，对噪声有一定的鲁棒性。然而，其计算量相对较大，因为包含指数运算。

<code>import numpy as np

import matplotlib.pyplot as plot

#ELU函数（Exponential Linear Unit）

def elu(x,alpha=1):

return np.where(x > 0, x, alpha*(np.exp(x) - 1))

#绘制图形方法 func数学公式，可变参数x，图形标题title

def plot_activation_function(func,x,title):

y = func(x)

plot.plot(x,y) #传入x 和y

plot.title(title) #设置标题

plot.xlabel('x') #x轴

plot.ylabel('y') #y轴

plot.grid() #网格线

plot.show()

x_value = np.arange(-10,10,0.1) #x取值范围，-10 - 10 步长0.1

plot_activation_function(elu,x_value,'elu')

结果如下：

四：微分、积分

1. 微分的定义：

微分是求函数在某一点的变化率。

2. 微分的三个法则：

在微积分中，微分（导数）的加法法则、乘法法则和除法法则（也称为商的导数法则）是求解复合函数导数的基本工具。这些法则允许我们将复杂的函数分解为更简单的部分，并分别求导，然后再以特定的方式组合起来。

3. 积分

定积分

的值就是这个封闭图形的面积。

五、微积分切线切面代码生成案例

1. 用Python展示二维图像的切线

用代码绘制x^2的函数图像，并绘制函数在x=1处的切线

Python代码如下

<code>import numpy as np

import matplotlib.pyplot as plt

#定义一个函数f(x) 求x平方的函数

def f(x):

return x ** 2

#定义函数的导数

def df(x):

return 2 * x

#绘制原始函数 定义x的取值范围，中间均匀拆分出100个点

x = np.linspace(-3,3,100)

y = f(x) #y是要求导的这条曲线

#设置画面大小 8 * 6 的尺寸比例

plt.figure(figsize=(8,6))

#绘制图像添加标注

plt.plot(x,y,label='f(x) = x^2')code>

#计算x = 1时的导数和切线

x1 = 1

y1 = f(x1)

scope = df(x1) #导数

#切线方程 y = m(x-x1) + y1

def tangent_line(x,x1,y1,scope):

return scope * (x - x1) + y1

#在切点附近绘制切线

x_tangent = np.linspace(x1 -1,x1 + 1,10) #限定切线x轴的范围

y_tangent = tangent_line(x_tangent,x1,y1,scope) #切线y轴的范围

#绘制切线图像，添加标题

plt.plot(x_tangent,y_tangent,label='tangent at x = 1',color='red')code>

plt.scatter([x1],[y1],color='black') #定义标注切点颜色code>

#设置图像

plt.legend() #展示图线的label

plt.xlabel("x") #定义x轴名称

plt.ylabel("f(x)") #y轴名称

plt.title("Function and Tangent Line at a Point") #图片标题

plt.grid(True) #显示网格

plt.show()

2. 展示三维函数切面