TY  - RPRT
TI  - Dolma: an Open Corpus of Three Trillion Tokens for Language Model Pretraining Research
AU  - Luca Soldaini
AU  - Rodney Kinney
AU  - Akshita Bhagia
AU  - Dustin Schwenk
AU  - David Atkinson
AU  - Russell Authur
AU  - Ben Bogin
AU  - Khyathi Chandu
AU  - Jennifer Dumas
AU  - Yanai Elazar
AU  - Valentin Hofmann
AU  - Ananya Harsh Jha
AU  - Sachin Kumar
AU  - Li Lucy
AU  - Xinxi Lyu
AU  - Nathan Lambert
AU  - Ian Magnusson
AU  - Jacob Morrison
AU  - Niklas Muennighoff
AU  - Aakanksha Naik
AU  - Crystal Nam
AU  - Matthew E. Peters
AU  - Abhilasha Ravichander
AU  - Kyle Richardson
AU  - Zejiang Shen
AU  - Emma Strubell
AU  - Nishant Subramani
AU  - Oyvind Tafjord
AU  - Pete Walsh
AU  - Luke Zettlemoyer
AU  - Noah A. Smith
AU  - Hannaneh Hajishirzi
AU  - Iz Beltagy
AU  - Dirk Groeneveld
AU  - Jesse Dodge
AU  - Kyle Lo
PY  - 2024
UR  - https://arxiv.org/abs/2402.00159
ID  - 2402.00159
ER  -