TY - RPRT TI - Analysing The Impact of Sequence Composition on Language Model Pre-Training AU - Yu Zhao AU - Yuanbin Qu AU - Konrad Staniszewski AU - Szymon Tworkowski AU - Wei Liu AU - Piotr Miłoś AU - Yuxiang Wu AU - Pasquale Minervini PY - 2024 DO - 10.18653/v1/2024.acl-long.427 UR - https://arxiv.org/abs/2402.13991 ID - 2402.13991 ER -