TY - RPRT TI - M6-10T: A Sharing-Delinking Paradigm for Efficient Multi-Trillion Parameter Pretraining AU - Junyang Lin AU - An Yang AU - Jinze Bai AU - Chang Zhou AU - Le Jiang AU - Xianyan Jia AU - Ang Wang AU - Jie Zhang AU - Yong Li AU - Wei Lin AU - Jingren Zhou AU - Hongxia Yang PY - 2021 UR - https://arxiv.org/abs/2110.03888 ID - 2110.03888 ER -