TY  - RPRT
TI  - ReLU$^2$ Wins: Discovering Efficient Activation Functions for Sparse LLMs
AU  - Zhengyan Zhang
AU  - Yixin Song
AU  - Guanghui Yu
AU  - Xu Han
AU  - Yankai Lin
AU  - Chaojun Xiao
AU  - Chenyang Song
AU  - Zhiyuan Liu
AU  - Zeyu Mi
AU  - Maosong Sun
PY  - 2024
UR  - https://arxiv.org/abs/2402.03804
ID  - 2402.03804
ER  -