TY - RPRT TI - MegaScale-MoE: Large-Scale Communication-Efficient Training of Mixture-of-Experts Models in Production AU - Chao Jin AU - Ziheng Jiang AU - Zhihao Bai AU - Zheng Zhong AU - Juncai Liu AU - Xiang Li AU - Ningxin Zheng AU - Xi Wang AU - Cong Xie AU - Qi Huang AU - Wen Heng AU - Yiyuan Ma AU - Wenlei Bao AU - Size Zheng AU - Yanghua Peng AU - Haibin Lin AU - Xuanzhe Liu AU - Xin Jin AU - Xin Liu PY - 2025 UR - https://arxiv.org/abs/2505.11432 ID - 2505.11432 ER -