TY - RPRT TI - FusionLLM: A Decentralized LLM Training System on Geo-distributed GPUs with Adaptive Compression AU - Zhenheng Tang AU - Xueze Kang AU - Yiming Yin AU - Xinglin Pan AU - Yuxin Wang AU - Xin He AU - Qiang Wang AU - Rongfei Zeng AU - Kaiyong Zhao AU - Shaohuai Shi AU - Amelie Chi Zhou AU - Bo Li AU - Bingsheng He AU - Xiaowen Chu PY - 2024 UR - https://arxiv.org/abs/2410.12707 ID - 2410.12707 ER -