TY  - RPRT
TI  - LoongTrain: Efficient Training of Long-Sequence LLMs with Head-Context Parallelism
AU  - Diandian Gu
AU  - Peng Sun
AU  - Qinghao Hu
AU  - Ting Huang
AU  - Xun Chen
AU  - Yingtong Xiong
AU  - Guoteng Wang
AU  - Qiaoling Chen
AU  - Shangchun Zhao
AU  - Jiarui Fang
AU  - Yonggang Wen
AU  - Tianwei Zhang
AU  - Xin Jin
AU  - Xuanzhe Liu
PY  - 2024
UR  - https://arxiv.org/abs/2406.18485
ID  - 2406.18485
ER  -