TY  - RPRT
TI  - PyramidInfer: Pyramid KV Cache Compression for High-throughput LLM Inference
AU  - Dongjie Yang
AU  - XiaoDong Han
AU  - Yan Gao
AU  - Yao Hu
AU  - Shilin Zhang
AU  - Hai Zhao
PY  - 2024
UR  - https://arxiv.org/abs/2405.12532
ID  - 2405.12532
ER  -