TY  - RPRT
TI  - SOAP, Muon, and Beyond: Pushing LLM Pretraining Scales
AU  - Mikail Khona
AU  - Aditya Vavre
AU  - Boxiang Wang
AU  - Deyu Fu
AU  - Hao Wu
AU  - Mike Chrzanowski
AU  - Bryan Catanzaro
AU  - Dheevatsa Mudigere
AU  - Jeff Pool
AU  - Michael Lightstone
AU  - Mohammad Shoeybi
AU  - Mostofa Patwary
AU  - Nima Tajbakhsh
AU  - Tijmen Blankevoort
PY  - 2026
UR  - https://arxiv.org/abs/2607.20548
ID  - 2607.20548
ER  -