TY - RPRT TI - SPDF: Sparse Pre-training and Dense Fine-tuning for Large Language Models AU - Vithursan Thangarasa AU - Abhay Gupta AU - William Marshall AU - Tianda Li AU - Kevin Leong AU - Dennis DeCoste AU - Sean Lie AU - Shreyas Saxena PY - 2023 UR - https://arxiv.org/abs/2303.10464 ID - 2303.10464 ER -