TY  - RPRT
TI  - Tackling the Data-Parallel Load Balancing Bottleneck in LLM Serving: Practical Online Routing at Scale
AU  - Tianci Bu
AU  - Yuan Lyu
AU  - Zixi Chen
AU  - Chendong Song
AU  - Hong Liang
AU  - Tsepten Gurung
AU  - Yuwei Fan
AU  - Yinyu Ye
AU  - Zijie Zhou
PY  - 2026
UR  - https://arxiv.org/abs/2605.06113
ID  - 2605.06113
ER  -