TY - RPRT TI - Effective Long-Context Scaling of Foundation Models AU - Wenhan Xiong AU - Jingyu Liu AU - Igor Molybog AU - Hejia Zhang AU - Prajjwal Bhargava AU - Rui Hou AU - Louis Martin AU - Rashi Rungta AU - Karthik Abinav Sankararaman AU - Barlas Oguz AU - Madian Khabsa AU - Han Fang AU - Yashar Mehdad AU - Sharan Narang AU - Kshitiz Malik AU - Angela Fan AU - Shruti Bhosale AU - Sergey Edunov AU - Mike Lewis AU - Sinong Wang AU - Hao Ma PY - 2023 UR - https://arxiv.org/abs/2309.16039 ID - 2309.16039 ER -