TY  - RPRT
TI  - Efficient Large-Scale Language Model Training on GPU Clusters Using Megatron-LM
AU  - Deepak Narayanan
AU  - Mohammad Shoeybi
AU  - Jared Casper
AU  - Patrick LeGresley
AU  - Mostofa Patwary
AU  - Vijay Anand Korthikanti
AU  - Dmitri Vainbrand
AU  - Prethvi Kashinkunti
AU  - Julie Bernauer
AU  - Bryan Catanzaro
AU  - Amar Phanishayee
AU  - Matei Zaharia
PY  - 2021
UR  - https://arxiv.org/abs/2104.04473
ID  - 2104.04473
ER  -