TY  - RPRT
TI  - DeepSeekMoE: Towards Ultimate Expert Specialization in Mixture-of-Experts Language Models
AU  - Damai Dai
AU  - Chengqi Deng
AU  - Chenggang Zhao
AU  - R. X. Xu
AU  - Huazuo Gao
AU  - Deli Chen
AU  - Jiashi Li
AU  - Wangding Zeng
AU  - Xingkai Yu
AU  - Y. Wu
AU  - Zhenda Xie
AU  - Y. K. Li
AU  - Panpan Huang
AU  - Fuli Luo
AU  - Chong Ruan
AU  - Zhifang Sui
AU  - Wenfeng Liang
PY  - 2024
UR  - https://arxiv.org/abs/2401.06066
ID  - 2401.06066
ER  -