TY - RPRT TI - InstInfer: In-Storage Attention Offloading for Cost-Effective Long-Context LLM Inference AU - Xiurui Pan AU - Endian Li AU - Qiao Li AU - Shengwen Liang AU - Yizhou Shan AU - Ke Zhou AU - Yingwei Luo AU - Xiaolin Wang AU - Jie Zhang PY - 2024 UR - https://arxiv.org/abs/2409.04992 ID - 2409.04992 ER -