【人工智能】深度学习:神经网络模型

听忆. 2024-07-13 12:01:01 阅读 70

【人工智能】深度学习:神经网络模型

神经网络基础知识

BP神经网络的概念

单个神经元的结构

CNN模型汇总

LeNet5 模型

AlexNet 模型

VGG模型

Inception Net(GoogleNet)模型

ResNet (残差网络)

RNN模型(循环神经网络)

为什么需要RNN

RNN结构

LSTM(长短期记忆网络)模型

LSTM结构

GRU模型

GRU结构

计算重置门rtr_trt​和候选状态h~t\tilde{h}_th~t​

计算更新门ztz_tzt​和当前状态hth_tht​


🎈边走、边悟🎈迟早会好

神经网络基础知识

神经网络(Neural Network)是一种模拟人脑神经元连接方式的计算模型。其基本组成部分是神经元(Neurons),通过加权连接和激活函数构成复杂的网络结构。神经网络广泛应用于模式识别、分类和回归等领域。

BP神经网络的概念

BP神经网络(Backpropagation Neural Network)是多层前馈神经网络的训练算法,通过误差反向传播调整网络权重以最小化输出误差。它主要包括以下步骤:

前向传播:输入数据通过网络传播,生成预测输出。计算误差:预测输出与真实输出之间的差异。反向传播:误差反向传播,通过梯度下降法调整网络权重。

单个神经元的结构

单个神经元的基本结构包括:

输入(Input):接收多个输入信号。权重(Weights):每个输入信号乘以对应的权重。加权和(Weighted Sum):所有加权输入信号的和。激活函数(Activation Function):将加权和映射到输出信号。常用的激活函数包括Sigmoid、ReLU、Tanh等。

公式表示为: y=f(∑i=1nwixi+b)y = f\left( \sum_{i=1}^{n} w_i x_i + b \right)y=f(∑i=1n​wi​xi​+b) 其中,fff是激活函数,wiw_iwi​是权重,xix_ixi​是输入,bbb是偏置项。

CNN模型汇总

卷积神经网络(CNN)是一种专门处理图像数据的神经网络,具有卷积层、池化层和全连接层等结构。常见的CNN模型有LeNet5、AlexNet、VGG、Inception Net(GoogleNet)和ResNet。

LeNet5 模型

LeNet5是最早的卷积神经网络之一,由Yann LeCun等人在1998年提出,用于手写数字识别。其结构包括:

输入层:28x28的灰度图像卷积层C1:6个5x5的卷积核,输出6个24x24的特征池化层S2:平均池化层,输出6个12x12的特征图卷积层C3:16个5x5的卷积核,输出16个8x8的特征图池化层S4:平均池化层,输出16个4x4的特征图卷积层C5:120个5x5的卷积核,输出120个1x1的特征图全连接层F6:84个神经元输出层:10个神经元(对应10个类别)

AlexNet 模型

AlexNet由Alex Krizhevsky等人在2012年提出,标志着深度学习在图像识别领域的突破。其结构包括:

卷积层1:96个11x11的卷积核,步长为4,输出96个55x55的特征图池化层1:最大池化层,输出96个27x27的特征图卷积层2:256个5x5的卷积核,步长为1,输出256个27x27的特征图池化层2:最大池化层,输出256个13x13的特征图卷积层3:384个3x3的卷积核,步长为1,输出384个13x13的特征图卷积层4:384个3x3的卷积核,步长为1,输出384个13x13的特征图卷积层5:256个3x3的卷积核,步长为1,输出256个13x13的特征图池化层5:最大池化层,输出256个6x6的特征图全连接层:4096个神经元输出层:1000个神经元(对应1000个类别)

VGG模型

VGGNet由Simonyan和Zisserman在2014年提出,其特点是使用非常小的卷积核(3x3)和较深的网络结构。常见的VGG模型包括VGG16和VGG19,分别包含16和19个卷积层和全连接层。其结构包括:

卷积层1-2:64个3x3的卷积核,步长为1,输出64个224x224的特征图池化层1:最大池化层,输出64个112x112的特征图卷积层3-4:128个3x3的卷积核,步长为1,输出128个112x112的特征图池化层2:最大池化层,输出128个56x56的特征图卷积层5-7:256个3x3的卷积核,步长为1,输出256个56x56的特征图池化层3:最大池化层,输出256个28x28的特征图卷积层8-12:512个3x3的卷积核,步长为1,输出512个28x28的特征图池化层4:最大池化层,输出512个14x14的特征图卷积层13-17:512个3x3的卷积核,步长为1,输出512个14x14的特征图池化层5:最大池化层,输出512个7x7的特征图全连接层:4096个神经元输出层:1000个神经元(对应1000个类别)

Inception Net(GoogleNet)模型

Inception Net由Google提出,主要特点是Inception模块,能够在同一层上并行进行不同尺寸卷积和池化操作。其结构包括:

卷积层1:64个7x7的卷积核,步长为2,输出64个112x112的特征图池化层1:最大池化层,输出64个56x56的特征图卷积层2:192个3x3的卷积核,步长为1,输出192个56x56的特征图池化层2:最大池化层,输出192个28x28的特征图Inception模块:多个Inception模块组合,不同尺寸的卷积核和池化层并行全连接层:辅助分类器和主分类器输出层:1000个神经元(对应1000个类别)

ResNet (残差网络)

ResNet由微软研究院提出,主要特点是引入残差连接,解决深度网络中的梯度消失和退化问题。其结构包括:

卷积层1:64个7x7的卷积核,步长为2,输出64个112x112的特征图池化层1:最大池化层,输出64个56x56的特征图残差模块:多个残差模块,每个模块包含多个卷积层和一个直接的残差连接全连接层:1000个神经元输出层:1000个神经元(对应1000个类别)

RNN模型(循环神经网络)

RNN是一种用于处理序列数据的神经网络,其特点是具有循环连接,能够保留序列信息。RNN在时间序列预测、自然语言处理等领域有广泛应用。

为什么需要RNN

传统神经网络在处理序列数据时无法保留之前的信息,而RNN通过循环连接,能够保留并利用序列中的上下文信息,使得其在处理时间序列数据时更为有效。

RNN结构

RNN的基本结构包括:

输入层:接收序列数据的每个时间步隐藏层:通过循环连接保留前一个时间步的信息输出层:输出每个时间步的结果

公式表示为: ht=f(Wihxt+Whhht−1+bh)h_t = f(W_{ih}x_t + W_{hh}h_{t-1} + b_h)ht​=f(Wih​xt​+Whh​ht−1​+bh​) yt=g(Whoht+bo)y_t = g(W_{ho}h_t + b_o)yt​=g(Who​ht​+bo​) 其中,fff是隐藏层的激活函数,ggg是输出层的激活函数,WWW和bbb分别是权重和偏置项。

LSTM(长短期记忆网络)模型

LSTM是一种改进的RNN,能够有效解决长期依赖问题。其通过引入记忆单元和门控机制,控制信息的保留和遗忘。

LSTM结构

LSTM的基本结构包括:

遗忘门(Forget Gate):决定是否丢弃上一时间步的记忆输入门(Input Gate):决定是否接受当前时间步的输入记忆单元(Memory Cell):保留重要信息输出门(Output Gate):决定输出哪些信息

公式表示为: ft=σ(Wf⋅[ht−1,xt]+bf)f_t = \sigma(W_f \cdot [h_{t-1}, x_t] + b_f)ft​=σ(Wf​⋅[ht−1​,xt​]+bf​) it=σ(Wi⋅[ht−1,xt]+bi)i_t = \sigma(W_i \cdot [h_{t-1}, x_t] + b_i)it​=σ(Wi​⋅[ht−1​,xt​]+bi​) C~t=tanh⁡(WC⋅[ht−1,xt]+bC)\tilde{C}_t = \tanh(W_C \cdot [h_{t-1}, x_t] + b_C)C~t​=tanh(WC​⋅[ht−1​,xt​]+bC​) Ct=ft⋅Ct−1+it⋅C~tC_t = f_t \cdot C_{t-1} + i_t \cdot \tilde{C}_tCt​=ft​⋅Ct−1​+it​⋅C~t​ ot=σ(Wo⋅[ht−1,xt]+bo)o_t = \sigma(W_o \cdot [h_{t-1}, x_t] + b_o)ot​=σ(Wo​⋅[ht−1​,xt​]+bo​) ht=ot⋅tanh⁡(Ct)h_t = o_t \cdot \tanh(C_t)ht​=ot​⋅tanh(Ct​)

GRU模型

GRU(Gated Recurrent Unit)是一种简化的LSTM模型,减少了计算复杂度,保留了LSTM的长短期记忆能力。

GRU结构

GRU的基本结构包括:

重置门(Reset Gate):控制如何合并新输入和前一个时间步的记忆更新门(Update Gate):控制如何更新当前时间步的状态

公式表示为: rt=σ(Wr⋅[ht−1,xt]+br)r_t = \sigma(W_r \cdot [h_{t-1}, x_t] + b_r)rt​=σ(Wr​⋅[ht−1​,xt​]+br​) zt=σ(Wz⋅[ht−1,xt]+bz)z_t = \sigma(W_z \cdot [h_{t-1}, x_t] + b_z)zt​=σ(Wz​⋅[ht−1​,xt​]+bz​) h~t=tanh⁡(Wh⋅[rt⋅ht−1,xt]+bh)\tilde{h}_t = \tanh(W_h \cdot [r_t \cdot h_{t-1}, x_t] + b_h)h~t​=tanh(Wh​⋅[rt​⋅ht−1​,xt​]+bh​) ht=(1−zt)⋅ht−1+zt⋅h~th_t = (1 - z_t) \cdot h_{t-1} + z_t \cdot \tilde{h}_tht​=(1−zt​)⋅ht−1​+zt​⋅h~t​

计算重置门rtr_trt​和候选状态h~t\tilde{h}_th~t​

重置门rtr_trt​控制前一个时间步的隐藏状态如何影响当前时间步的候选状态: rt=σ(Wr⋅[ht−1,xt]+br)r_t = \sigma(W_r \cdot [h_{t-1}, x_t] + b_r)rt​=σ(Wr​⋅[ht−1​,xt​]+br​) 候选状态h~t\tilde{h}_th~t​是当前时间步的潜在新信息: h~t=tanh⁡(Wh⋅[rt⋅ht−1,xt]+bh)\tilde{h}_t = \tanh(W_h \cdot [r_t \cdot h_{t-1}, x_t] + b_h)h~t​=tanh(Wh​⋅[rt​⋅ht−1​,xt​]+bh​)

计算更新门ztz_tzt​和当前状态hth_tht​

更新门ztz_tzt​决定当前时间步的隐藏状态如何更新: zt=σ(Wz⋅[ht−1,xt]+bz)z_t = \sigma(W_z \cdot [h_{t-1}, x_t] + b_z)zt​=σ(Wz​⋅[ht−1​,xt​]+bz​) 当前时间步的隐藏状态hth_tht​通过前一个隐藏状态和当前候选状态的加权和计算: ht=(1−zt)⋅ht−1+zt⋅h~th_t = (1 - z_t) \cdot h_{t-1} + z_t \cdot \tilde{h}_tht​=(1−zt​)⋅ht−1​+zt​⋅h~t​

这些模型和概念构成了神经网络在图像识别、自然语言处理等领域的基础和核心技术。

 🌟感谢支持 听忆.-CSDN博客

🎈众口难调🎈从心就好



声明

本文内容仅代表作者观点,或转载于其他网站,本站不以此文作为商业用途
如有涉及侵权,请联系本站进行删除
转载本站原创文章,请注明来源及作者。