[태그:] orthogonal feature directions

https://www.dropbox.com/scl/fi/zr0s84zygykijwipxx6gq/icml25_Hidden_Dimensions_of_LLM_Alignment.pdf?rlkey=sz9vcdhjzbh027r33zhphuxxc&dl=0 이 논문의 핵심 문제의식은 기존의 refusal direction 연구가 alignment를 **하나의 선형 방향(single direction)**으로 설명하는 데 비해, 실제 safety fine-tuning은 여러 개의 서로 다른 orthogonal feature directions로 이루어진 저차원 subspace를 학습한다는 것입니다.  1. 논문의 핵심 아이디어 기존 연구의 전형적인 접근은 다음과 같습니다. vrefusal=𝔼[h|refusal]−𝔼[h|compliance]v_{\text{refusal}}=\mathbb{E}[h\mid \text{refusal}]-\mathbb{E}[h\mid \text{compliance}] 즉 harmful/safe 또는 refusal/compliance contrast pair를 이용해 하나의 safety direction을…