TY - RPRT TI - QuaRot: Outlier-Free 4-Bit Inference in Rotated LLMs AU - Saleh Ashkboos AU - Amirkeivan Mohtashami AU - Maximilian L. Croci AU - Bo Li AU - Pashmina Cameron AU - Martin Jaggi AU - Dan Alistarh AU - Torsten Hoefler AU - James Hensman PY - 2024 UR - https://arxiv.org/abs/2404.00456 ID - 2404.00456 ER -