TY - RPRT TI - FlexMoE: Scaling Large-scale Sparse Pre-trained Model Training via Dynamic Device Placement AU - Xiaonan Nie AU - Xupeng Miao AU - Zilong Wang AU - Zichao Yang AU - Jilong Xue AU - Lingxiao Ma AU - Gang Cao AU - Bin Cui PY - 2023 DO - 10.1145/3588964 UR - https://arxiv.org/abs/2304.03946 ID - 2304.03946 ER -