TY - RPRT TI - The Fine Line: Navigating Large Language Model Pretraining with Down-streaming Capability Analysis AU - Chen Yang AU - Junzhuo Li AU - Xinyao Niu AU - Xinrun Du AU - Songyang Gao AU - Haoran Zhang AU - Zhaoliang Chen AU - Xingwei Qu AU - Ruibin Yuan AU - Yizhi Li AU - Jiaheng Liu AU - Stephen W. Huang AU - Shawn Yue AU - Ge Zhang PY - 2024 UR - https://arxiv.org/abs/2404.01204 ID - 2404.01204 ER -