TY  - RPRT
TI  - SpecInfer: Accelerating Generative Large Language Model Serving with Tree-based Speculative Inference and Verification
AU  - Xupeng Miao
AU  - Gabriele Oliaro
AU  - Zhihao Zhang
AU  - Xinhao Cheng
AU  - Zeyu Wang
AU  - Zhengxin Zhang
AU  - Rae Ying Yee Wong
AU  - Alan Zhu
AU  - Lijie Yang
AU  - Xiaoxiang Shi
AU  - Chunan Shi
AU  - Zhuoming Chen
AU  - Daiyaan Arfeen
AU  - Reyna Abhyankar
AU  - Zhihao Jia
PY  - 2024
DO  - 10.1145/3620666.3651335
UR  - https://arxiv.org/abs/2305.09781
ID  - 2305.09781
ER  -