TY - RPRT TI - Revisiting MoE and Dense Speed-Accuracy Comparisons for LLM Training AU - Xianzhi Du AU - Tom Gunter AU - Xiang Kong AU - Mark Lee AU - Zirui Wang AU - Aonan Zhang AU - Nan Du AU - Ruoming Pang PY - 2024 UR - https://arxiv.org/abs/2405.15052 ID - 2405.15052 ER -