TY  - RPRT
TI  - TurboSpec: Closed-loop Speculation Control System for Optimizing LLM Serving Goodput
AU  - Xiaoxuan Liu
AU  - Jongseok Park
AU  - Langxiang Hu
AU  - Woosuk Kwon
AU  - Zhuohan Li
AU  - Chen Zhang
AU  - Kuntai Du
AU  - Xiangxi Mo
AU  - Kaichao You
AU  - Alvin Cheung
AU  - Zhijie Deng
AU  - Ion Stoica
AU  - Hao Zhang
PY  - 2025
UR  - https://arxiv.org/abs/2406.14066
ID  - 2406.14066
ER  -