TY - RPRT TI - PanGu-$π$: Enhancing Language Model Architectures via Nonlinearity Compensation AU - Yunhe Wang AU - Hanting Chen AU - Yehui Tang AU - Tianyu Guo AU - Kai Han AU - Ying Nie AU - Xutao Wang AU - Hailin Hu AU - Zheyuan Bai AU - Yun Wang AU - Fangcheng Liu AU - Zhicheng Liu AU - Jianyuan Guo AU - Sinan Zeng AU - Yinchen Zhang AU - Qinghua Xu AU - Qun Liu AU - Jun Yao AU - Chao Xu AU - Dacheng Tao PY - 2023 UR - https://arxiv.org/abs/2312.17276 ID - 2312.17276 ER -