TY  - RPRT
TI  - Beyond Language Modeling: An Exploration of Multimodal Pretraining
AU  - Shengbang Tong
AU  - David Fan
AU  - John Nguyen
AU  - Ellis Brown
AU  - Gaoyue Zhou
AU  - Shengyi Qian
AU  - Boyang Zheng
AU  - Théophane Vallaeys
AU  - Junlin Han
AU  - Rob Fergus
AU  - Naila Murray
AU  - Marjan Ghazvininejad
AU  - Mike Lewis
AU  - Nicolas Ballas
AU  - Amir Bar
AU  - Michael Rabbat
AU  - Jakob Verbeek
AU  - Luke Zettlemoyer
AU  - Koustuv Sinha
AU  - Yann LeCun
AU  - Saining Xie
PY  - 2026
UR  - https://arxiv.org/abs/2603.03276
ID  - 2603.03276
ER  -