TY  - RPRT
TI  - CacheGen: KV Cache Compression and Streaming for Fast Large Language Model Serving
AU  - Yuhan Liu
AU  - Hanchen Li
AU  - Yihua Cheng
AU  - Siddhant Ray
AU  - Yuyang Huang
AU  - Qizheng Zhang
AU  - Kuntai Du
AU  - Jiayi Yao
AU  - Shan Lu
AU  - Ganesh Ananthanarayanan
AU  - Michael Maire
AU  - Henry Hoffmann
AU  - Ari Holtzman
AU  - Junchen Jiang
PY  - 2024
UR  - https://arxiv.org/abs/2310.07240
ID  - 2310.07240
ER  -