TY - RPRT TI - RedPajama: an Open Dataset for Training Large Language Models AU - Maurice Weber AU - Daniel Fu AU - Quentin Anthony AU - Yonatan Oren AU - Shane Adams AU - Anton Alexandrov AU - Xiaozhong Lyu AU - Huu Nguyen AU - Xiaozhe Yao AU - Virginia Adams AU - Ben Athiwaratkun AU - Rahul Chalamala AU - Kezhen Chen AU - Max Ryabinin AU - Tri Dao AU - Percy Liang AU - Christopher RĂ© AU - Irina Rish AU - Ce Zhang PY - 2024 UR - https://arxiv.org/abs/2411.12372 ID - 2411.12372 ER -