TY - RPRT TI - Improving language models by retrieving from trillions of tokens AU - Sebastian Borgeaud AU - Arthur Mensch AU - Jordan Hoffmann AU - Trevor Cai AU - Eliza Rutherford AU - Katie Millican AU - George van den Driessche AU - Jean-Baptiste Lespiau AU - Bogdan Damoc AU - Aidan Clark AU - Diego de Las Casas AU - Aurelia Guy AU - Jacob Menick AU - Roman Ring AU - Tom Hennigan AU - Saffron Huang AU - Loren Maggiore AU - Chris Jones AU - Albin Cassirer AU - Andy Brock AU - Michela Paganini AU - Geoffrey Irving AU - Oriol Vinyals AU - Simon Osindero AU - Karen Simonyan AU - Jack W. Rae AU - Erich Elsen AU - Laurent Sifre PY - 2022 UR - https://arxiv.org/abs/2112.04426 ID - 2112.04426 ER -