TY - RPRT TI - Demons in the Detail: On Implementing Load Balancing Loss for Training Specialized Mixture-of-Expert Models AU - Zihan Qiu AU - Zeyu Huang AU - Bo Zheng AU - Kaiyue Wen AU - Zekun Wang AU - Rui Men AU - Ivan Titov AU - Dayiheng Liu AU - Jingren Zhou AU - Junyang Lin PY - 2025 UR - https://arxiv.org/abs/2501.11873 ID - 2501.11873 ER -