TY - RPRT TI - LoRAMoE: Alleviate World Knowledge Forgetting in Large Language Models via MoE-Style Plugin AU - Shihan Dou AU - Enyu Zhou AU - Yan Liu AU - Songyang Gao AU - Jun Zhao AU - Wei Shen AU - Yuhao Zhou AU - Zhiheng Xi AU - Xiao Wang AU - Xiaoran Fan AU - Shiliang Pu AU - Jiang Zhu AU - Rui Zheng AU - Tao Gui AU - Qi Zhang AU - Xuanjing Huang PY - 2024 UR - https://arxiv.org/abs/2312.09979 ID - 2312.09979 ER -