TY  - RPRT
TI  - MoE Parallel Folding: Heterogeneous Parallelism Mappings for Efficient Large-Scale MoE Model Training with Megatron Core
AU  - Dennis Liu
AU  - Zijie Yan
AU  - Xin Yao
AU  - Tong Liu
AU  - Vijay Korthikanti
AU  - Evan Wu
AU  - Shiqing Fan
AU  - Gao Deng
AU  - Hongxiao Bai
AU  - Jianbin Chang
AU  - Ashwath Aithal
AU  - Michael Andersch
AU  - Mohammad Shoeybi
AU  - Jiajie Yao
AU  - Chandler Zhou
AU  - David Wu
AU  - Xipeng Li
AU  - June Yang
PY  - 2026
UR  - https://arxiv.org/abs/2504.14960
ID  - 2504.14960
ER  -