TY - RPRT TI - Mind the Memory Gap: Unveiling GPU Bottlenecks in Large-Batch LLM Inference AU - Pol G. Recasens AU - Ferran Agullo AU - Yue Zhu AU - Chen Wang AU - Eun Kyung Lee AU - Olivier Tardieu AU - Jordi Torres AU - Josep Ll. Berral PY - 2025 UR - https://arxiv.org/abs/2503.08311 ID - 2503.08311 ER -