TY  - RPRT
TI  - Hymba: A Hybrid-head Architecture for Small Language Models
AU  - Xin Dong
AU  - Yonggan Fu
AU  - Shizhe Diao
AU  - Wonmin Byeon
AU  - Zijia Chen
AU  - Ameya Sunil Mahabaleshwarkar
AU  - Shih-Yang Liu
AU  - Matthijs Van Keirsbilck
AU  - Min-Hung Chen
AU  - Yoshi Suhara
AU  - Yingyan Lin
AU  - Jan Kautz
AU  - Pavlo Molchanov
PY  - 2024
UR  - https://arxiv.org/abs/2411.13676
ID  - 2411.13676
ER  -