TY - RPRT TI - Communication-Efficient Language Model Training Scales Reliably and Robustly: Scaling Laws for DiLoCo AU - Zachary Charles AU - Gabriel Teston AU - Lucio Dery AU - Keith Rush AU - Nova Fallen AU - Zachary Garrett AU - Arthur Szlam AU - Arthur Douillard PY - 2025 UR - https://arxiv.org/abs/2503.09799 ID - 2503.09799 ER -