TY  - RPRT
TI  - Scalable Frequency- and Length-Aware Subdocument Deduplication for Large Language Model Pretraining
AU  - Hai Wang
AU  - Chenhao Wang
AU  - Qifeng Cai
AU  - Yixiu Liu
AU  - Miao Peng
AU  - Nuo Chen
AU  - Yuanlin Tu
AU  - Chengcheng Xu
AU  - Feng Zhang
PY  - 2026
UR  - https://arxiv.org/abs/2608.03089
ID  - 2608.03089
ER  -