TY  - RPRT
TI  - Efficient Large Scale Language Modeling with Mixtures of Experts
AU  - Mikel Artetxe
AU  - Shruti Bhosale
AU  - Naman Goyal
AU  - Todor Mihaylov
AU  - Myle Ott
AU  - Sam Shleifer
AU  - Xi Victoria Lin
AU  - Jingfei Du
AU  - Srinivasan Iyer
AU  - Ramakanth Pasunuru
AU  - Giri Anantharaman
AU  - Xian Li
AU  - Shuohui Chen
AU  - Halil Akin
AU  - Mandeep Baines
AU  - Louis Martin
AU  - Xing Zhou
AU  - Punit Singh Koura
AU  - Brian O'Horo
AU  - Jeff Wang
AU  - Luke Zettlemoyer
AU  - Mona Diab
AU  - Zornitsa Kozareva
AU  - Ves Stoyanov
PY  - 2022
UR  - https://arxiv.org/abs/2112.10684
ID  - 2112.10684
ER  -