TY - RPRT TI - Fault-Tolerant Hybrid-Parallel Training at Scale with Reliable and Efficient In-memory Checkpointing AU - Yuxin Wang AU - Xueze Kang AU - Shaohuai Shi AU - Xin He AU - Zhenheng Tang AU - Xinglin Pan AU - Yang Zheng AU - Xiaoyu Wu AU - Amelie Chi Zhou AU - Bingsheng He AU - Xiaowen Chu PY - 2024 UR - https://arxiv.org/abs/2310.12670 ID - 2310.12670 ER -