TY - RPRT TI - ZeRO++: Extremely Efficient Collective Communication for Giant Model Training AU - Guanhua Wang AU - Heyang Qin AU - Sam Ade Jacobs AU - Connor Holmes AU - Samyam Rajbhandari AU - Olatunji Ruwase AU - Feng Yan AU - Lei Yang AU - Yuxiong He PY - 2023 UR - https://arxiv.org/abs/2306.10209 ID - 2306.10209 ER -