TY  - RPRT
TI  - Skywork-MoE: A Deep Dive into Training Techniques for Mixture-of-Experts Language Models
AU  - Tianwen Wei
AU  - Bo Zhu
AU  - Liang Zhao
AU  - Cheng Cheng
AU  - Biye Li
AU  - Weiwei Lü
AU  - Peng Cheng
AU  - Jianhao Zhang
AU  - Xiaoyu Zhang
AU  - Liang Zeng
AU  - Xiaokun Wang
AU  - Yutuan Ma
AU  - Rui Hu
AU  - Shuicheng Yan
AU  - Han Fang
AU  - Yahui Zhou
PY  - 2024
UR  - https://arxiv.org/abs/2406.06563
ID  - 2406.06563
ER  -