TY  - RPRT
TI  - Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free
AU  - Zihan Qiu
AU  - Zekun Wang
AU  - Bo Zheng
AU  - Zeyu Huang
AU  - Kaiyue Wen
AU  - Songlin Yang
AU  - Rui Men
AU  - Le Yu
AU  - Fei Huang
AU  - Suozhi Huang
AU  - Dayiheng Liu
AU  - Jingren Zhou
AU  - Junyang Lin
PY  - 2025
UR  - https://arxiv.org/abs/2505.06708
ID  - 2505.06708
ER  -