TY - RPRT TI - Medusa: Simple LLM Inference Acceleration Framework with Multiple Decoding Heads AU - Tianle Cai AU - Yuhong Li AU - Zhengyang Geng AU - Hongwu Peng AU - Jason D. Lee AU - Deming Chen AU - Tri Dao PY - 2024 UR - https://arxiv.org/abs/2401.10774 ID - 2401.10774 ER -