TY  - RPRT
TI  - DiLoCo: Distributed Low-Communication Training of Language Models
AU  - Arthur Douillard
AU  - Qixuan Feng
AU  - Andrei A. Rusu
AU  - Rachita Chhaparia
AU  - Yani Donchev
AU  - Adhiguna Kuncoro
AU  - Marc'Aurelio Ranzato
AU  - Arthur Szlam
AU  - Jiajun Shen
PY  - 2024
UR  - https://arxiv.org/abs/2311.08105
ID  - 2311.08105
ER  -