TY  - RPRT
TI  - Streaming DiLoCo with overlapping communication: Towards a Distributed Free Lunch
AU  - Arthur Douillard
AU  - Yanislav Donchev
AU  - Keith Rush
AU  - Satyen Kale
AU  - Zachary Charles
AU  - Zachary Garrett
AU  - Gabriel Teston
AU  - Dave Lacey
AU  - Ross McIlroy
AU  - Jiajun Shen
AU  - Alexandre Ramé
AU  - Arthur Szlam
AU  - Marc'Aurelio Ranzato
AU  - Paul Barham
PY  - 2025
UR  - https://arxiv.org/abs/2501.18512
ID  - 2501.18512
ER  -