TY  - RPRT
TI  - More is Less: The Pitfalls of Multi-Model Synthetic Preference Data in DPO Safety Alignment
AU  - Yifan Wang
AU  - Runjin Chen
AU  - Bolian Li
AU  - David Cho
AU  - Yihe Deng
AU  - Ruqi Zhang
AU  - Tianlong Chen
AU  - Zhangyang Wang
AU  - Ananth Grama
AU  - Junyuan Hong
PY  - 2025
UR  - https://arxiv.org/abs/2504.02193
ID  - 2504.02193
ER  -