TY - RPRT TI - PyTorch FSDP: Experiences on Scaling Fully Sharded Data Parallel AU - Yanli Zhao AU - Andrew Gu AU - Rohan Varma AU - Liang Luo AU - Chien-Chin Huang AU - Min Xu AU - Less Wright AU - Hamid Shojanazeri AU - Myle Ott AU - Sam Shleifer AU - Alban Desmaison AU - Can Balioglu AU - Pritam Damania AU - Bernard Nguyen AU - Geeta Chauhan AU - Yuchen Hao AU - Ajit Mathews AU - Shen Li PY - 2023 UR - https://arxiv.org/abs/2304.11277 ID - 2304.11277 ER -