TY  - RPRT
TI  - Upcycling Large Language Models into Mixture of Experts
AU  - Ethan He
AU  - Abhinav Khattar
AU  - Ryan Prenger
AU  - Vijay Korthikanti
AU  - Zijie Yan
AU  - Tong Liu
AU  - Shiqing Fan
AU  - Ashwath Aithal
AU  - Mohammad Shoeybi
AU  - Bryan Catanzaro
PY  - 2025
UR  - https://arxiv.org/abs/2410.07524
ID  - 2410.07524
ER  -