TY - RPRT TI - Distributed Inference Performance Optimization for LLMs on CPUs AU - Pujiang He AU - Shan Zhou AU - Changqing Li AU - Wenhuan Huang AU - Weifei Yu AU - Duyi Wang AU - Chen Meng AU - Sheng Gui PY - 2024 UR - https://arxiv.org/abs/2407.00029 ID - 2407.00029 ER -