TY - RPRT TI - HELENE: Hessian Layer-wise Clipping and Gradient Annealing for Accelerating Fine-tuning LLM with Zeroth-order Optimization AU - Huaqin Zhao AU - Jiaxi Li AU - Yi Pan AU - Shizhe Liang AU - Xiaofeng Yang AU - Wei Liu AU - Xiang Li AU - Fei Dou AU - Tianming Liu AU - Jin Lu PY - 2024 UR - https://arxiv.org/abs/2411.10696 ID - 2411.10696 ER -