TY  - RPRT
TI  - Efficient Interactive LLM Serving with Proxy Model-based Sequence Length Prediction
AU  - Haoran Qiu
AU  - Weichao Mao
AU  - Archit Patke
AU  - Shengkun Cui
AU  - Saurabh Jha
AU  - Chen Wang
AU  - Hubertus Franke
AU  - Zbigniew T. Kalbarczyk
AU  - Tamer Başar
AU  - Ravishankar K. Iyer
PY  - 2024
UR  - https://arxiv.org/abs/2404.08509
ID  - 2404.08509
ER  -