TY  - RPRT
TI  - BlendServe: Optimizing Offline Inference for Auto-regressive Large Models with Resource-aware Batching
AU  - Yilong Zhao
AU  - Shuo Yang
AU  - Kan Zhu
AU  - Lianmin Zheng
AU  - Baris Kasikci
AU  - Yang Zhou
AU  - Jiarong Xing
AU  - Ion Stoica
PY  - 2026
UR  - https://arxiv.org/abs/2411.16102
ID  - 2411.16102
ER  -