在Transformer中前馈全连接层就是具有两层线性层的全连接网络。前馈全连接层的作用是考虑注意力机制可能对复杂过程的拟合程度不够,通过增加两层网络来增强模型的能力....

浏览 96 次 标签： 【AI大模型】深入Transformer架构：编码器部分的实现与解析（下）