TY  - RPRT
TI  - Exploring the Benefit of Activation Sparsity in Pre-training
AU  - Zhengyan Zhang
AU  - Chaojun Xiao
AU  - Qiujieli Qin
AU  - Yankai Lin
AU  - Zhiyuan Zeng
AU  - Xu Han
AU  - Zhiyuan Liu
AU  - Ruobing Xie
AU  - Maosong Sun
AU  - Jie Zhou
PY  - 2024
UR  - https://arxiv.org/abs/2410.03440
ID  - 2410.03440
ER  -