TY - RPRT TI - ABQ-LLM: Arbitrary-Bit Quantized Inference Acceleration for Large Language Models AU - Chao Zeng AU - Songwei Liu AU - Yusheng Xie AU - Hong Liu AU - Xiaojian Wang AU - Miao Wei AU - Shu Yang AU - Fangmin Chen AU - Xing Mei PY - 2025 UR - https://arxiv.org/abs/2408.08554 ID - 2408.08554 ER -