TY  - RPRT
TI  - GQKVA: Efficient Pre-training of Transformers by Grouping Queries, Keys, and Values
AU  - Farnoosh Javadi
AU  - Walid Ahmed
AU  - Habib Hajimolahoseini
AU  - Foozhan Ataiefard
AU  - Mohammad Hassanpour
AU  - Saina Asani
AU  - Austin Wen
AU  - Omar Mohamed Awad
AU  - Kangling Liu
AU  - Yang Liu
PY  - 2023
UR  - https://arxiv.org/abs/2311.03426
ID  - 2311.03426
ER  -