TY  - RPRT
TI  - Weight subcloning: direct initialization of transformers using larger pretrained ones
AU  - Mohammad Samragh
AU  - Mehrdad Farajtabar
AU  - Sachin Mehta
AU  - Raviteja Vemulapalli
AU  - Fartash Faghri
AU  - Devang Naik
AU  - Oncel Tuzel
AU  - Mohammad Rastegari
PY  - 2023
UR  - https://arxiv.org/abs/2312.09299
ID  - 2312.09299
ER  -