TY  - RPRT
TI  - SlimQwen: Exploring the Pruning and Distillation in Large MoE Model Pre-training
AU  - Shengkun Tang
AU  - Zekun Wang
AU  - Bo Zheng
AU  - Liangyu Wang
AU  - Rui Men
AU  - Siqi Zhang
AU  - Xiulong Yuan
AU  - Zihan Qiu
AU  - Zhiqiang Shen
AU  - Dayiheng Liu
PY  - 2026
UR  - https://arxiv.org/abs/2605.08738
ID  - 2605.08738
ER  -