TY - RPRT TI - Pro-Prophet: A Systematic Load Balancing Method for Efficient Parallel Training of Large-scale MoE Models AU - Wei Wang AU - Zhiquan Lai AU - Shengwei Li AU - Weijie Liu AU - Keshi Ge AU - Ao Shen AU - Huayou Su AU - Dongsheng Li PY - 2024 UR - https://arxiv.org/abs/2411.10003 ID - 2411.10003 ER -