TY - RPRT TI - When Precision Meets Position: BFloat16 Breaks Down RoPE in Long-Context Training AU - Haonan Wang AU - Qian Liu AU - Chao Du AU - Tongyao Zhu AU - Cunxiao Du AU - Kenji Kawaguchi AU - Tianyu Pang PY - 2024 UR - https://arxiv.org/abs/2411.13476 ID - 2411.13476 ER -