TY  - RPRT
TI  - Using DeepSpeed and Megatron to Train Megatron-Turing NLG 530B, A Large-Scale Generative Language Model
AU  - Shaden Smith
AU  - Mostofa Patwary
AU  - Brandon Norick
AU  - Patrick LeGresley
AU  - Samyam Rajbhandari
AU  - Jared Casper
AU  - Zhun Liu
AU  - Shrimai Prabhumoye
AU  - George Zerveas
AU  - Vijay Korthikanti
AU  - Elton Zhang
AU  - Rewon Child
AU  - Reza Yazdani Aminabadi
AU  - Julie Bernauer
AU  - Xia Song
AU  - Mohammad Shoeybi
AU  - Yuxiong He
AU  - Michael Houston
AU  - Saurabh Tiwary
AU  - Bryan Catanzaro
PY  - 2022
UR  - https://arxiv.org/abs/2201.11990
ID  - 2201.11990
ER  -