TY  - RPRT
TI  - GShard: Scaling Giant Models with Conditional Computation and Automatic Sharding
AU  - Dmitry Lepikhin
AU  - HyoukJoong Lee
AU  - Yuanzhong Xu
AU  - Dehao Chen
AU  - Orhan Firat
AU  - Yanping Huang
AU  - Maxim Krikun
AU  - Noam Shazeer
AU  - Zhifeng Chen
PY  - 2020
UR  - https://arxiv.org/abs/2006.16668
ID  - 2006.16668
ER  -