TY  - RPRT
TI  - SDP4Bit: Toward 4-bit Communication Quantization in Sharded Data Parallelism for LLM Training
AU  - Jinda Jia
AU  - Cong Xie
AU  - Hanlin Lu
AU  - Daoce Wang
AU  - Hao Feng
AU  - Chengming Zhang
AU  - Baixi Sun
AU  - Haibin Lin
AU  - Zhi Zhang
AU  - Xin Liu
AU  - Dingwen Tao
PY  - 2024
UR  - https://arxiv.org/abs/2410.15526
ID  - 2410.15526
ER  -