TY  - RPRT
TI  - AquilaMoE: Efficient Training for MoE Models with Scale-Up and Scale-Out Strategies
AU  - Bo-Wen Zhang
AU  - Liangdong Wang
AU  - Ye Yuan
AU  - Jijie Li
AU  - Shuhao Gu
AU  - Mengdi Zhao
AU  - Xinya Wu
AU  - Guang Liu
AU  - Chengwei Wu
AU  - Hanyu Zhao
AU  - Li Du
AU  - Yiming Ju
AU  - Quanyue Ma
AU  - Yulong Ao
AU  - Yingli Zhao
AU  - Songhe Zhu
AU  - Zhou Cao
AU  - Dong Liang
AU  - Yonghua Lin
AU  - Ming Zhang
AU  - Shunfei Wang
AU  - Yanxin Zhou
AU  - Min Ye
AU  - Xuekai Chen
AU  - Xinyang Yu
AU  - Xiangjun Huang
AU  - Jian Yang
PY  - 2024
UR  - https://arxiv.org/abs/2408.06567
ID  - 2408.06567
ER  -