TY - RPRT TI - Innovator: Scientific Continued Pretraining with Fine-grained MoE Upcycling AU - Ning Liao AU - Xiaoxing Wang AU - Zehao Lin AU - Weiyang Guo AU - Feng Hong AU - Shixiang Song AU - Geng Yu AU - Zihua Zhao AU - Sitao Xie AU - Longxuan Wei AU - Xiangqi Jin AU - Xiaohan Qin AU - Jiale Ma AU - Kai Chen AU - Jiangchao Yao AU - Zhouhan Lin AU - Junchi Yan AU - Zhiyu Li AU - Feiyu Xiong AU - Yanfeng Wang AU - Linfeng Zhang PY - 2025 UR - https://arxiv.org/abs/2507.18671 ID - 2507.18671 ER -