TY  - RPRT
TI  - PanGu-Σ: Towards Trillion Parameter Language Model with Sparse Heterogeneous Computing
AU  - Xiaozhe Ren
AU  - Pingyi Zhou
AU  - Xinfan Meng
AU  - Xinjing Huang
AU  - Yadao Wang
AU  - Weichao Wang
AU  - Pengfei Li
AU  - Xiaoda Zhang
AU  - Alexander Podolskiy
AU  - Grigory Arshinov
AU  - Andrey Bout
AU  - Irina Piontkovskaya
AU  - Jiansheng Wei
AU  - Xin Jiang
AU  - Teng Su
AU  - Qun Liu
AU  - Jun Yao
PY  - 2023
UR  - https://arxiv.org/abs/2303.10845
ID  - 2303.10845
ER  -