TY - RPRT TI - Lightweight Model Pre-training via Language Guided Knowledge Distillation AU - Mingsheng Li AU - Lin Zhang AU - Mingzhen Zhu AU - Zilong Huang AU - Gang Yu AU - Jiayuan Fan AU - Tao Chen PY - 2024 UR - https://arxiv.org/abs/2406.11689 ID - 2406.11689 ER -