TY  - RPRT
TI  - On the Representation Collapse of Sparse Mixture of Experts
AU  - Zewen Chi
AU  - Li Dong
AU  - Shaohan Huang
AU  - Damai Dai
AU  - Shuming Ma
AU  - Barun Patra
AU  - Saksham Singhal
AU  - Payal Bajaj
AU  - Xia Song
AU  - Xian-Ling Mao
AU  - Heyan Huang
AU  - Furu Wei
PY  - 2022
UR  - https://arxiv.org/abs/2204.09179
ID  - 2204.09179
ER  -