TY  - RPRT
TI  - Mixture-of-Transformers: A Sparse and Scalable Architecture for Multi-Modal Foundation Models
AU  - Weixin Liang
AU  - Lili Yu
AU  - Liang Luo
AU  - Srinivasan Iyer
AU  - Ning Dong
AU  - Chunting Zhou
AU  - Gargi Ghosh
AU  - Mike Lewis
AU  - Wen-tau Yih
AU  - Luke Zettlemoyer
AU  - Xi Victoria Lin
PY  - 2025
UR  - https://arxiv.org/abs/2411.04996
ID  - 2411.04996
ER  -