TY  - RPRT
TI  - GLaM: Efficient Scaling of Language Models with Mixture-of-Experts
AU  - Nan Du
AU  - Yanping Huang
AU  - Andrew M. Dai
AU  - Simon Tong
AU  - Dmitry Lepikhin
AU  - Yuanzhong Xu
AU  - Maxim Krikun
AU  - Yanqi Zhou
AU  - Adams Wei Yu
AU  - Orhan Firat
AU  - Barret Zoph
AU  - Liam Fedus
AU  - Maarten Bosma
AU  - Zongwei Zhou
AU  - Tao Wang
AU  - Yu Emma Wang
AU  - Kellie Webster
AU  - Marie Pellat
AU  - Kevin Robinson
AU  - Kathleen Meier-Hellstern
AU  - Toju Duke
AU  - Lucas Dixon
AU  - Kun Zhang
AU  - Quoc V Le
AU  - Yonghui Wu
AU  - Zhifeng Chen
AU  - Claire Cui
PY  - 2022
UR  - https://arxiv.org/abs/2112.06905
ID  - 2112.06905
ER  -