TY  - RPRT
TI  - Alexa Teacher Model: Pretraining and Distilling Multi-Billion-Parameter Encoders for Natural Language Understanding Systems
AU  - Jack FitzGerald
AU  - Shankar Ananthakrishnan
AU  - Konstantine Arkoudas
AU  - Davide Bernardi
AU  - Abhishek Bhagia
AU  - Claudio Delli Bovi
AU  - Jin Cao
AU  - Rakesh Chada
AU  - Amit Chauhan
AU  - Luoxin Chen
AU  - Anurag Dwarakanath
AU  - Satyam Dwivedi
AU  - Turan Gojayev
AU  - Karthik Gopalakrishnan
AU  - Thomas Gueudre
AU  - Dilek Hakkani-Tur
AU  - Wael Hamza
AU  - Jonathan Hueser
AU  - Kevin Martin Jose
AU  - Haidar Khan
AU  - Beiye Liu
AU  - Jianhua Lu
AU  - Alessandro Manzotti
AU  - Pradeep Natarajan
AU  - Karolina Owczarzak
AU  - Gokmen Oz
AU  - Enrico Palumbo
AU  - Charith Peris
AU  - Chandana Satya Prakash
AU  - Stephen Rawls
AU  - Andy Rosenbaum
AU  - Anjali Shenoy
AU  - Saleh Soltan
AU  - Mukund Harakere Sridhar
AU  - Liz Tan
AU  - Fabian Triefenbach
AU  - Pan Wei
AU  - Haiyang Yu
AU  - Shuai Zheng
AU  - Gokhan Tur
AU  - Prem Natarajan
PY  - 2022
DO  - 10.1145/3534678.3539173
UR  - https://arxiv.org/abs/2206.07808
ID  - 2206.07808
ER  -