TY - RPRT TI - MoE-I$^2$: Compressing Mixture of Experts Models through Inter-Expert Pruning and Intra-Expert Low-Rank Decomposition AU - Cheng Yang AU - Yang Sui AU - Jinqi Xiao AU - Lingyi Huang AU - Yu Gong AU - Yuanlin Duan AU - Wenqi Jia AU - Miao Yin AU - Yu Cheng AU - Bo Yuan PY - 2024 UR - https://arxiv.org/abs/2411.01016 ID - 2411.01016 ER -