TY  - RPRT
TI  - Sigma: Differential Rescaling of Query, Key and Value for Efficient Language Models
AU  - Zhenghao Lin
AU  - Zihao Tang
AU  - Xiao Liu
AU  - Yeyun Gong
AU  - Yi Cheng
AU  - Qi Chen
AU  - Hang Li
AU  - Ying Xin
AU  - Ziyue Yang
AU  - Kailai Yang
AU  - Yu Yan
AU  - Xiao Liang
AU  - Shuai Lu
AU  - Yiming Huang
AU  - Zheheng Luo
AU  - Lei Qu
AU  - Xuan Feng
AU  - Yaoxiang Wang
AU  - Yuqing Xia
AU  - Feiyang Chen
AU  - Yuting Jiang
AU  - Yasen Hu
AU  - Hao Ni
AU  - Binyang Li
AU  - Guoshuai Zhao
AU  - Jui-Hao Chiang
AU  - Zhongxin Guo
AU  - Chen Lin
AU  - Kun Kuang
AU  - Wenjie Li
AU  - Yelong Shen
AU  - Jian Jiao
AU  - Peng Cheng
AU  - Mao Yang
PY  - 2025
UR  - https://arxiv.org/abs/2501.13629
ID  - 2501.13629
ER  -