围绕权重、KV、激活和通信预算,分析 TP、DP、EP、CP 与 PP 的容量、通信及吞吐取舍,讨论注意力与 MoE 的并行组合,以及长上下文和流水线的额外约束。