TY - RPRT TI - Lessons from the Trenches on Reproducible Evaluation of Language Models AU - Stella Biderman AU - Hailey Schoelkopf AU - Lintang Sutawika AU - Leo Gao AU - Jonathan Tow AU - Baber Abbasi AU - Alham Fikri Aji AU - Pawan Sasanka Ammanamanchi AU - Sidney Black AU - Jordan Clive AU - Anthony DiPofi AU - Julen Etxaniz AU - Benjamin Fattori AU - Jessica Zosa Forde AU - Charles Foster AU - Jeffrey Hsu AU - Mimansa Jaiswal AU - Wilson Y. Lee AU - Haonan Li AU - Charles Lovering AU - Niklas Muennighoff AU - Ellie Pavlick AU - Jason Phang AU - Aviya Skowron AU - Samson Tan AU - Xiangru Tang AU - Kevin A. Wang AU - Genta Indra Winata AU - François Yvon AU - Andy Zou PY - 2026 UR - https://arxiv.org/abs/2405.14782 ID - 2405.14782 ER -