TY  - RPRT
TI  - Entropy-Driven Pre-Tokenization for Byte-Pair Encoding
AU  - Yifan Hu
AU  - Frank Liang
AU  - Dachuan Zhao
AU  - Jonathan Geuter
AU  - Varshini Reddy
AU  - Craig W. Schmidt
AU  - Chris Tanner
PY  - 2025
UR  - https://arxiv.org/abs/2506.15889
ID  - 2506.15889
ER  -