TY  - RPRT
TI  - Sparse Upcycling: Training Mixture-of-Experts from Dense Checkpoints
AU  - Aran Komatsuzaki
AU  - Joan Puigcerver
AU  - James Lee-Thorp
AU  - Carlos Riquelme Ruiz
AU  - Basil Mustafa
AU  - Joshua Ainslie
AU  - Yi Tay
AU  - Mostafa Dehghani
AU  - Neil Houlsby
PY  - 2023
UR  - https://arxiv.org/abs/2212.05055
ID  - 2212.05055
ER  -