TY - RPRT TI - DuoAttention: Efficient Long-Context LLM Inference with Retrieval and Streaming Heads AU - Guangxuan Xiao AU - Jiaming Tang AU - Jingwei Zuo AU - Junxian Guo AU - Shang Yang AU - Haotian Tang AU - Yao Fu AU - Song Han PY - 2024 UR - https://arxiv.org/abs/2410.10819 ID - 2410.10819 ER -