TY - RPRT TI - CoLA: Compute-Efficient Pre-Training of LLMs via Low-Rank Activation AU - Ziyue Liu AU - Ruijie Zhang AU - Zhengyang Wang AU - Mingsong Yan AU - Zi Yang AU - Paul Hovland AU - Bogdan Nicolae AU - Franck Cappello AU - Sui Tang AU - Zheng Zhang PY - 2025 UR - https://arxiv.org/abs/2502.10940 ID - 2502.10940 ER -