TY - RPRT TI - Picky LLMs and Unreliable RMs: An Empirical Study on Safety Alignment after Instruction Tuning AU - Guanlin Li AU - Kangjie Chen AU - Shangwei Guo AU - Jie Zhang AU - Han Qiu AU - Chao Zhang AU - Guoyin Wang AU - Tianwei Zhang AU - Jiwei Li PY - 2025 UR - https://arxiv.org/abs/2502.01116 ID - 2502.01116 ER -