TY - RPRT TI - DataDecide: How to Predict Best Pretraining Data with Small Experiments AU - Ian Magnusson AU - Nguyen Tai AU - Ben Bogin AU - David Heineman AU - Jena D. Hwang AU - Luca Soldaini AU - Akshita Bhagia AU - Jiacheng Liu AU - Dirk Groeneveld AU - Oyvind Tafjord AU - Noah A. Smith AU - Pang Wei Koh AU - Jesse Dodge PY - 2025 UR - https://arxiv.org/abs/2504.11393 ID - 2504.11393 ER -