TY  - RPRT
TI  - RTP-LLM: High-Performance Alibaba LLM Inference Engine
AU  - Boyu Tan
AU  - Jiarui Guo
AU  - Zongwei Lv
AU  - Hanbo Sun
AU  - Tong Yang
AU  - Kan Liu
AU  - Xinfei Shi
AU  - Zetao Hu
AU  - Yaxin Yu
AU  - Chi Zhang
AU  - Jianning Zhang
AU  - Xi Yang
AU  - Wei Zhang
AU  - Bo Cai
AU  - Silu Zhou
AU  - Xiyu Wang
AU  - Na He
AU  - Yinghao Yu
AU  - Wending Bao
AU  - Guiyang Huang
AU  - Yuxing Yuan
AU  - Juncheng Yin
AU  - Nan Wang
AU  - Lin Yang
AU  - Zechao Zhang
AU  - Lu Chen
AU  - Guoding Li
AU  - Tao Lan
AU  - Lin Qu
PY  - 2026
UR  - https://arxiv.org/abs/2605.29639
ID  - 2605.29639
ER  -