TY - RPRT TI - DEPT: Decoupled Embeddings for Pre-training Language Models AU - Alex Iacob AU - Lorenzo Sani AU - Meghdad Kurmanji AU - William F. Shen AU - Xinchi Qiu AU - Dongqi Cai AU - Yan Gao AU - Nicholas D. Lane PY - 2025 UR - https://arxiv.org/abs/2410.05021 ID - 2410.05021 ER -