TY - RPRT TI - Shall We Pretrain Autoregressive Language Models with Retrieval? A Comprehensive Study AU - Boxin Wang AU - Wei Ping AU - Peng Xu AU - Lawrence McAfee AU - Zihan Liu AU - Mohammad Shoeybi AU - Yi Dong AU - Oleksii Kuchaiev AU - Bo Li AU - Chaowei Xiao AU - Anima Anandkumar AU - Bryan Catanzaro PY - 2023 UR - https://arxiv.org/abs/2304.06762 ID - 2304.06762 ER -