TY  - RPRT
TI  - Should We Still Pretrain Encoders with Masked Language Modeling?
AU  - Hippolyte Gisserot-Boukhlef
AU  - Nicolas Boizard
AU  - Manuel Faysse
AU  - Duarte M. Alves
AU  - Emmanuel Malherbe
AU  - André F. T. Martins
AU  - Céline Hudelot
AU  - Pierre Colombo
PY  - 2026
UR  - https://arxiv.org/abs/2507.00994
ID  - 2507.00994
ER  -