TY  - RPRT
TI  - Self-Improving Pretraining: using post-trained models to pretrain better models
AU  - Ellen Xiaoqing Tan
AU  - Jack Lanchantin
AU  - Shehzaad Dhuliawala
AU  - Danwei Li
AU  - Thao Nguyen
AU  - Jing Xu
AU  - Ping Yu
AU  - Ilia Kulikov
AU  - Sainbayar Sukhbaatar
AU  - Jason Weston
AU  - Xian Li
AU  - Olga Golovneva
PY  - 2026
UR  - https://arxiv.org/abs/2601.21343
ID  - 2601.21343
ER  -