TY  - RPRT
TI  - A Unified View of Attention and Residual Sinks: Outlier-Driven Rescaling is Essential for Transformer Training
AU  - Zihan Qiu
AU  - Zeyu Huang
AU  - Kaiyue Wen
AU  - Peng Jin
AU  - Bo Zheng
AU  - Yuxin Zhou
AU  - Haofeng Huang
AU  - Zekun Wang
AU  - Xiao Li
AU  - Huaqing Zhang
AU  - Yang Xu
AU  - Haoran Lian
AU  - Siqi Zhang
AU  - Rui Men
AU  - Jianwei Zhang
AU  - Ivan Titov
AU  - Dayiheng Liu
AU  - Jingren Zhou
AU  - Junyang Lin
PY  - 2026
UR  - https://arxiv.org/abs/2601.22966
ID  - 2601.22966
ER  -