TY - RPRT TI - Theory, Analysis, and Best Practices for Sigmoid Self-Attention AU - Jason Ramapuram AU - Federico Danieli AU - Eeshan Dhekane AU - Floris Weers AU - Dan Busbridge AU - Pierre Ablin AU - Tatiana Likhomanenko AU - Jagrit Digani AU - Zijin Gu AU - Amitis Shidani AU - Russ Webb PY - 2025 UR - https://arxiv.org/abs/2409.04431 ID - 2409.04431 ER -