TY - RPRT TI - Enabling Efficient Batch Serving for LMaaS via Generation Length Prediction AU - Ke Cheng AU - Wen Hu AU - Zhi Wang AU - Peng Du AU - Jianguo Li AU - Sheng Zhang PY - 2024 UR - https://arxiv.org/abs/2406.04785 ID - 2406.04785 ER -