TY - RPRT TI - Finedeep: Mitigating Sparse Activation in Dense LLMs via Multi-Layer Fine-Grained Experts AU - Leiyu Pan AU - Zhenpeng Su AU - Minxuan Lv AU - Yizhe Xiong AU - Xiangwen Zhang AU - Zijia Lin AU - Hui Chen AU - Jungong Han AU - Guiguang Ding AU - Cheng Luo AU - Di Zhang AU - Kun Gai AU - Deyi Xiong PY - 2025 UR - https://arxiv.org/abs/2502.12928 ID - 2502.12928 ER -