TY - RPRT TI - KVTuner: Sensitivity-Aware Layer-Wise Mixed-Precision KV Cache Quantization for Efficient and Nearly Lossless LLM Inference AU - Xing Li AU - Zeyu Xing AU - Yiming Li AU - Linping Qu AU - Hui-Ling Zhen AU - Wulong Liu AU - Yiwu Yao AU - Sinno Jialin Pan AU - Mingxuan Yuan PY - 2025 UR - https://arxiv.org/abs/2502.04420 ID - 2502.04420 ER -