TY - RPRT TI - SambaNova SN40L: Scaling the AI Memory Wall with Dataflow and Composition of Experts AU - Raghu Prabhakar AU - Ram Sivaramakrishnan AU - Darshan Gandhi AU - Yun Du AU - Mingran Wang AU - Xiangyu Song AU - Kejie Zhang AU - Tianren Gao AU - Angela Wang AU - Karen Li AU - Yongning Sheng AU - Joshua Brot AU - Denis Sokolov AU - Apurv Vivek AU - Calvin Leung AU - Arjun Sabnis AU - Jiayu Bai AU - Tuowen Zhao AU - Mark Gottscho AU - David Jackson AU - Mark Luttrell AU - Manish K. Shah AU - Edison Chen AU - Kaizhao Liang AU - Swayambhoo Jain AU - Urmish Thakker AU - Dawei Huang AU - Sumti Jairath AU - Kevin J. Brown AU - Kunle Olukotun PY - 2024 DO - 10.1109/micro61859.2024.00100 UR - https://arxiv.org/abs/2405.07518 ID - 2405.07518 ER -