TY  - RPRT
TI  - CaraServe: CPU-Assisted and Rank-Aware LoRA Serving for Generative LLM Inference
AU  - Suyi Li
AU  - Hanfeng Lu
AU  - Tianyuan Wu
AU  - Minchen Yu
AU  - Qizhen Weng
AU  - Xusheng Chen
AU  - Yizhou Shan
AU  - Binhang Yuan
AU  - Wei Wang
PY  - 2024
UR  - https://arxiv.org/abs/2401.11240
ID  - 2401.11240
ER  -