TY  - RPRT
TI  - The Pile: An 800GB Dataset of Diverse Text for Language Modeling
AU  - Leo Gao
AU  - Stella Biderman
AU  - Sid Black
AU  - Laurence Golding
AU  - Travis Hoppe
AU  - Charles Foster
AU  - Jason Phang
AU  - Horace He
AU  - Anish Thite
AU  - Noa Nabeshima
AU  - Shawn Presser
AU  - Connor Leahy
PY  - 2020
UR  - https://arxiv.org/abs/2101.00027
ID  - 2101.00027
ER  -