TY - RPRT TI - A Comedy of Estimators: On KL Regularization in RL Training of LLMs AU - Vedant Shah AU - Johan Obando-Ceron AU - Vineet Jain AU - Brian Bartoldson AU - Bhavya Kailkhura AU - Sarthak Mittal AU - Glen Berseth AU - Pablo Samuel Castro AU - Yoshua Bengio AU - Esmeralda S. Whitammer AU - Moksh Jain AU - Siddarth Venkatraman AU - Aaron Courville PY - 2026 UR - https://arxiv.org/abs/2512.21852 ID - 2512.21852 ER -