TY - RPRT TI - Sparse Progressive Distillation: Resolving Overfitting under Pretrain-and-Finetune Paradigm AU - Shaoyi Huang AU - Dongkuan Xu AU - Ian E. H. Yen AU - Yijue Wang AU - Sung-en Chang AU - Bingbing Li AU - Shiyang Chen AU - Mimi Xie AU - Sanguthevar Rajasekaran AU - Hang Liu AU - Caiwen Ding PY - 2023 UR - https://arxiv.org/abs/2110.08190 ID - 2110.08190 ER -