#FSDP

一张 H100 装不下 70B 模型。怎么把训练任务分给几千张卡？这一篇梳理 4 种主流并行策略。