TY  - RPRT
TI  - Herschel: Continuous Optimization of Production LLM Inference through On-Demand Profiling
AU  - Luping Wang
AU  - Weigao Chen
AU  - Yifei Wu
AU  - Yonghe Zhang
AU  - Rui Zhang
AU  - Wenchao Wu
AU  - Jiyu Luo
AU  - Haoran Geng
AU  - Xin Yang
AU  - Chen Cao
AU  - Yuemin Wu
AU  - Cheng Huang
AU  - Guodong Yang
AU  - Liping Zhang
PY  - 2026
UR  - https://arxiv.org/abs/2609.40247
ID  - 2609.40247
ER  -