TY - RPRT TI - Efficient Speculative Decoding for Llama at Scale: Challenges and Solutions AU - Bangsheng Tang AU - Carl Chengyan Fu AU - Fei Kou AU - Grigory Sizov AU - Haoci Zhang AU - Jason Park AU - Jiawen Liu AU - Jie You AU - Qirui Yang AU - Sachin Mehta AU - Shengyong Cai AU - Xiaodong Wang AU - Xingyu Liu AU - Yunlu Li AU - Yanjun Zhou AU - Wei Wei AU - Zhiwei Zhao AU - Zixi Qi AU - Adolfo Victoria AU - Aya Ibrahim AU - Bram Wasti AU - Changkyu Kim AU - Daniel Haziza AU - Fei Sun AU - Giancarlo Delfin AU - Emily Guo AU - Jialin Ouyang AU - Jaewon Lee AU - Jianyu Huang AU - Jeremy Reizenstein AU - Lu Fang AU - Quinn Zhu AU - Ria Verma AU - Vlad Mihailescu AU - Xingwen Guo AU - Yan Cui AU - Ye Hu AU - Yejin Lee PY - 2025 UR - https://arxiv.org/abs/2508.08192 ID - 2508.08192 ER -