TY  - RPRT
TI  - Beyond Scaling: Measuring and Predicting the Upper Bound of Knowledge Retention in Language Model Pre-Training
AU  - Changhao Jiang
AU  - Ming Zhang
AU  - Yifei Cao
AU  - Junjie Ye
AU  - Xiaoran Fan
AU  - Shihan Dou
AU  - Zhiheng Xi
AU  - Jiajun Sun
AU  - Yi Dong
AU  - Yujiong Shen
AU  - Jingqi Tong
AU  - Baoyu Fan
AU  - Tao Gui
AU  - Qi Zhang
AU  - Xuanjing Huang
PY  - 2026
UR  - https://arxiv.org/abs/2502.04066
ID  - 2502.04066
ER  -