TY  - RPRT
TI  - Position Prediction as an Effective Pretraining Strategy
AU  - Shuangfei Zhai
AU  - Navdeep Jaitly
AU  - Jason Ramapuram
AU  - Dan Busbridge
AU  - Tatiana Likhomanenko
AU  - Joseph Yitan Cheng
AU  - Walter Talbott
AU  - Chen Huang
AU  - Hanlin Goh
AU  - Joshua Susskind
PY  - 2022
UR  - https://arxiv.org/abs/2207.07611
ID  - 2207.07611
ER  -