TY - RPRT TI - HMoE: Heterogeneous Mixture of Experts for Language Modeling AU - An Wang AU - Xingwu Sun AU - Ruobing Xie AU - Shuaipeng Li AU - Jiaqi Zhu AU - Zhen Yang AU - Pinxue Zhao AU - J. N. Han AU - Zhanhui Kang AU - Di Wang AU - Naoaki Okazaki AU - Cheng-zhong Xu PY - 2024 UR - https://arxiv.org/abs/2408.10681 ID - 2408.10681 ER -