TY - RPRT TI - Intelligent Router for LLM Workloads: Improving Performance Through Workload-Aware Load Balancing AU - Kunal Jain AU - Anjaly Parayil AU - Ankur Mallick AU - Esha Choukse AU - Xiaoting Qin AU - Jue Zhang AU - Íñigo Goiri AU - Rujia Wang AU - Chetan Bansal AU - Victor Rühle AU - Anoop Kulkarni AU - Steve Kofsky AU - Saravan Rajmohan PY - 2025 UR - https://arxiv.org/abs/2408.13510 ID - 2408.13510 ER -