TY - RPRT TI - OMoE: Diversifying Mixture of Low-Rank Adaptation by Orthogonal Finetuning AU - Jinyuan Feng AU - Zhiqiang Pu AU - Tianyi Hu AU - Dongmin Li AU - Xiaolin Ai AU - Huimu Wang PY - 2025 UR - https://arxiv.org/abs/2501.10062 ID - 2501.10062 ER -