TY  - RPRT
TI  - Training LLMs with Fault Tolerant HSDP on 100,000 GPUs
AU  - Omkar Salpekar
AU  - Rohan Varma
AU  - Kenny Yu
AU  - Vladimir Ivanov
AU  - Yang Wang
AU  - Ahmed Sharif
AU  - Min Si
AU  - Shawn Xu
AU  - Feng Tian
AU  - Shengbao Zheng
AU  - Tristan Rice
AU  - Ankush Garg
AU  - Shangfu Peng
AU  - Shreyas Siravara
AU  - Wenyin Fu
AU  - Rodrigo de Castro
AU  - Adithya Gangidi
AU  - Andrey Obraztsov
AU  - Sharan Narang
AU  - Sergey Edunov
AU  - Maxim Naumov
AU  - Chunqiang Tang
AU  - Mathew Oldham
PY  - 2026
UR  - https://arxiv.org/abs/2602.00277
ID  - 2602.00277
ER  -