LLM:并行化训练

llama3.1论文称使用了:张量并行(TP)、流水线并行(PP)、上下文并行(CP)和数据并行(DP)。并行化可以先粗分为:1.数据并行2.模型并行:张量并行,流水线并行3.上下文并行(llama3.1)4.de...