TY - RPRT TI - BASS: Batched Attention-optimized Speculative Sampling AU - Haifeng Qian AU - Sujan Kumar Gonugondla AU - Sungsoo Ha AU - Mingyue Shang AU - Sanjay Krishna Gouda AU - Ramesh Nallapati AU - Sudipta Sengupta AU - Xiaofei Ma AU - Anoop Deoras PY - 2024 UR - https://arxiv.org/abs/2404.15778 ID - 2404.15778 ER -