TY  - RPRT
TI  - KVQuant: Towards 10 Million Context Length LLM Inference with KV Cache Quantization
AU  - Coleman Hooper
AU  - Sehoon Kim
AU  - Hiva Mohammadzadeh
AU  - Michael W. Mahoney
AU  - Yakun Sophia Shao
AU  - Kurt Keutzer
AU  - Amir Gholami
PY  - 2025
UR  - https://arxiv.org/abs/2401.18079
ID  - 2401.18079
ER  -