TY - RPRT TI - Language models scale reliably with over-training and on downstream tasks AU - Samir Yitzhak Gadre AU - Georgios Smyrnis AU - Vaishaal Shankar AU - Suchin Gururangan AU - Mitchell Wortsman AU - Rulin Shao AU - Jean Mercat AU - Alex Fang AU - Jeffrey Li AU - Sedrick Keh AU - Rui Xin AU - Marianna Nezhurina AU - Igor Vasiljevic AU - Jenia Jitsev AU - Luca Soldaini AU - Alexandros G. Dimakis AU - Gabriel Ilharco AU - Pang Wei Koh AU - Shuran Song AU - Thomas Kollar AU - Yair Carmon AU - Achal Dave AU - Reinhard Heckel AU - Niklas Muennighoff AU - Ludwig Schmidt PY - 2024 UR - https://arxiv.org/abs/2403.08540 ID - 2403.08540 ER -