TY  - RPRT
TI  - Infinite-LLM: Efficient LLM Service for Long Context with DistAttention and Distributed KVCache
AU  - Bin Lin
AU  - Chen Zhang
AU  - Tao Peng
AU  - Hanyu Zhao
AU  - Wencong Xiao
AU  - Minmin Sun
AU  - Anmin Liu
AU  - Zhipeng Zhang
AU  - Lanbo Li
AU  - Xiafei Qiu
AU  - Shen Li
AU  - Zhigang Ji
AU  - Tao Xie
AU  - Yong Li
AU  - Wei Lin
PY  - 2024
UR  - https://arxiv.org/abs/2401.02669
ID  - 2401.02669
ER  -