TY - RPRT TI - Scalable Parameter and Memory Efficient Pretraining for LLM: Recent Algorithmic Advances and Benchmarking AU - Athanasios Glentis AU - Jiaxiang Li AU - Qiulin Shang AU - Andi Han AU - Ioannis Tsaknakis AU - Quan Wei AU - Mingyi Hong PY - 2025 UR - https://arxiv.org/abs/2505.22922 ID - 2505.22922 ER -