TY - RPRT TI - BeyondWeb: Lessons from Scaling Synthetic Data for Trillion-scale Pretraining AU - DatologyAI AU - : AU - Pratyush Maini AU - Vineeth Dorna AU - Parth Doshi AU - Aldo Carranza AU - Fan Pan AU - Jack Urbanek AU - Paul Burstein AU - Alex Fang AU - Alvin Deng AU - Amro Abbas AU - Brett Larsen AU - Cody Blakeney AU - Charvi Bannur AU - Christina Baek AU - Darren Teh AU - David Schwab AU - Haakon Mongstad AU - Haoli Yin AU - Josh Wills AU - Kaleigh Mentzer AU - Luke Merrick AU - Ricardo Monti AU - Rishabh Adiga AU - Siddharth Joshi AU - Spandan Das AU - Zhengping Wang AU - Bogdan Gaza AU - Ari Morcos AU - Matthew Leavitt PY - 2025 UR - https://arxiv.org/abs/2508.10975 ID - 2508.10975 ER -