TY  - RPRT
TI  - A System for Microserving of LLMs
AU  - Hongyi Jin
AU  - Ruihang Lai
AU  - Charlie F. Ruan
AU  - Yingcheng Wang
AU  - Todd C. Mowry
AU  - Xupeng Miao
AU  - Zhihao Jia
AU  - Tianqi Chen
PY  - 2024
UR  - https://arxiv.org/abs/2412.12488
ID  - 2412.12488
ER  -