TY  - RPRT
TI  - Data, Data Everywhere: A Guide for Pretraining Dataset Construction
AU  - Jupinder Parmar
AU  - Shrimai Prabhumoye
AU  - Joseph Jennings
AU  - Bo Liu
AU  - Aastha Jhunjhunwala
AU  - Zhilin Wang
AU  - Mostofa Patwary
AU  - Mohammad Shoeybi
AU  - Bryan Catanzaro
PY  - 2024
UR  - https://arxiv.org/abs/2407.06380
ID  - 2407.06380
ER  -