TY - RPRT TI - Megalodon: Efficient LLM Pretraining and Inference with Unlimited Context Length AU - Xuezhe Ma AU - Xiaomeng Yang AU - Wenhan Xiong AU - Beidi Chen AU - Lili Yu AU - Hao Zhang AU - Jonathan May AU - Luke Zettlemoyer AU - Omer Levy AU - Chunting Zhou PY - 2024 UR - https://arxiv.org/abs/2404.08801 ID - 2404.08801 ER -