TY - RPRT TI - LoKiFormer: Locality-aware Attention with Decoupled Knowledge Memory for Efficient Large Language Model Pretraining AU - Qiuwu Chen AU - Zimo Liu AU - Yuchen Li AU - Ying Sun AU - Yifan Zhang AU - Zhijie Qiu AU - Zeng You AU - Ryan Dong AU - Simeng Ma AU - Yaofo Chen AU - Mingkui Tan PY - 2026 UR - https://arxiv.org/abs/2608.12419 ID - 2608.12419 ER -