TY  - RPRT
TI  - MegaScale: Scaling Large Language Model Training to More Than 10,000 GPUs
AU  - Ziheng Jiang
AU  - Haibin Lin
AU  - Yinmin Zhong
AU  - Qi Huang
AU  - Yangrui Chen
AU  - Zhi Zhang
AU  - Yanghua Peng
AU  - Xiang Li
AU  - Cong Xie
AU  - Shibiao Nong
AU  - Yulu Jia
AU  - Sun He
AU  - Hongmin Chen
AU  - Zhihao Bai
AU  - Qi Hou
AU  - Shipeng Yan
AU  - Ding Zhou
AU  - Yiyao Sheng
AU  - Zhuo Jiang
AU  - Haohan Xu
AU  - Haoran Wei
AU  - Zhang Zhang
AU  - Pengfei Nie
AU  - Leqi Zou
AU  - Sida Zhao
AU  - Liang Xiang
AU  - Zherui Liu
AU  - Zhe Li
AU  - Xiaoying Jia
AU  - Jianxi Ye
AU  - Xin Jin
AU  - Xin Liu
PY  - 2024
UR  - https://arxiv.org/abs/2402.15627
ID  - 2402.15627
ER  -