本文针对FlashAttention反向融合算子的性能优化方案展开介绍，并通过优化实现了典型场景4倍左右的性能提升，希望对开发者优化此类基于AscendC开发的融合算子带来启发。...

浏览 70 次 标签： 华为云新鲜技术分享    CANN    Ascend    性能优化    人工智能    华为云开发者联盟    LLM   

【代码】深入理解Transformer，兼谈MHSA（多头自注意力）、Cross-Attention（交叉注意力）、LayerNorm、FFN、位置编码。_mhsa...

浏览 88 次 标签： 深入理解Transformer    兼谈MHSA（多头自注意力）、Cross-Attention（交叉注意力）、LayerNorm、FFN、位置编码