TY  - RPRT
TI  - Tackling the Dynamicity in a Production LLM Serving System with SOTA Optimizations via Hybrid Prefill/Decode/Verify Scheduling on Efficient Meta-kernels
AU  - Mingcong Song
AU  - Xinru Tang
AU  - Fengfan Hou
AU  - Jing Li
AU  - Wei Wei
AU  - Yipeng Ma
AU  - Runqiu Xiao
AU  - Hongjie Si
AU  - Dingcheng Jiang
AU  - Shouyi Yin
AU  - Yang Hu
AU  - Guoping Long
PY  - 2024
UR  - https://arxiv.org/abs/2412.18106
ID  - 2412.18106
ER  -