TY - RPRT TI - Cambricon-LLM: A Chiplet-Based Hybrid Architecture for On-Device Inference of 70B LLM AU - Zhongkai Yu AU - Shengwen Liang AU - Tianyun Ma AU - Yunke Cai AU - Ziyuan Nan AU - Di Huang AU - Xinkai Song AU - Yifan Hao AU - Jie Zhang AU - Tian Zhi AU - Yongwei Zhao AU - Zidong Du AU - Xing Hu AU - Qi Guo AU - Tianshi Chen PY - 2024 UR - https://arxiv.org/abs/2409.15654 ID - 2409.15654 ER -