TY  - RPRT
TI  - Multi-Head Attention as a Source of Catastrophic Forgetting in MoE Transformers
AU  - Anrui Chen
AU  - Ruijun Huang
AU  - Xin Zhang
AU  - Fang Dong
AU  - Hengjie Cao
AU  - Zhendong Huang
AU  - Yifeng Yang
AU  - Mengyi Chen
AU  - Jixian Zhou
AU  - Mingzhi Dong
AU  - Yujiang Wang
AU  - Jinlong Hou
AU  - Qin Lv
AU  - Robert P. Dick
AU  - Yuan Cheng
AU  - Tun Lu
AU  - Fan Yang
AU  - Li Shang
PY  - 2026
UR  - https://arxiv.org/abs/2602.12587
ID  - 2602.12587
ER  -