TY  - RPRT
TI  - Scalable Training of Mixture-of-Experts Models with Megatron Core
AU  - Zijie Yan
AU  - Hongxiao Bai
AU  - Xin Yao
AU  - Dennis Liu
AU  - Tong Liu
AU  - Hongbin Liu
AU  - Pingtian Li
AU  - Evan Wu
AU  - Shiqing Fan
AU  - Li Tao
AU  - Robin Zhang
AU  - Yuzhong Wang
AU  - Shifang Xu
AU  - Jack Chang
AU  - Xuwen Chen
AU  - Kunlun Li
AU  - Yan Bai
AU  - Gao Deng
AU  - Nan Zheng
AU  - Vijay Anand Korthikanti
AU  - Abhinav Khattar
AU  - Ethan He
AU  - Soham Govande
AU  - Sangkug Lym
AU  - Zhongbo Zhu
AU  - Qi Zhang
AU  - Haochen Yuan
AU  - Xiaowei Ren
AU  - Deyu Fu
AU  - Tailai Ma
AU  - Shunkang Zhang
AU  - Jiang Shao
AU  - Ray Wang
AU  - Vasudevan Rengasamy
AU  - Rachit Garg
AU  - Santosh Bhavani
AU  - Xipeng Li
AU  - Chandler Zhou
AU  - David Wu
AU  - Yingcan Wei
AU  - Ashwath Aithal
AU  - Michael Andersch
AU  - Mohammad Shoeybi
AU  - Jiajie Yao
AU  - June Yang
PY  - 2026
UR  - https://arxiv.org/abs/2603.07685
ID  - 2603.07685
ER  -