TY  - RPRT
TI  - DeepSpeed-FastGen: High-throughput Text Generation for LLMs via MII and DeepSpeed-Inference
AU  - Connor Holmes
AU  - Masahiro Tanaka
AU  - Michael Wyatt
AU  - Ammar Ahmad Awan
AU  - Jeff Rasley
AU  - Samyam Rajbhandari
AU  - Reza Yazdani Aminabadi
AU  - Heyang Qin
AU  - Arash Bakhtiari
AU  - Lev Kurilenko
AU  - Yuxiong He
PY  - 2024
UR  - https://arxiv.org/abs/2401.08671
ID  - 2401.08671
ER  -