TY - RPRT TI - What Language Model to Train if You Have One Million GPU Hours? AU - Teven Le Scao AU - Thomas Wang AU - Daniel Hesslow AU - Lucile Saulnier AU - Stas Bekman AU - M Saiful Bari AU - Stella Biderman AU - Hady Elsahar AU - Niklas Muennighoff AU - Jason Phang AU - Ofir Press AU - Colin Raffel AU - Victor Sanh AU - Sheng Shen AU - Lintang Sutawika AU - Jaesung Tae AU - Zheng Xin Yong AU - Julien Launay AU - Iz Beltagy PY - 2022 UR - https://arxiv.org/abs/2210.15424 ID - 2210.15424 ER -