https://www.dropbox.com/scl/fi/z5utwa7t3pmkcrclffe69/nips25_Angular_LLM_Steering.pdf?rlkey=q4ftzgdq6xumwakvdasg2metc&dl=0

논문 개요

Angular Steering: Behavior Control via Rotation in Activation Space (NeurIPS 2025)

핵심 문제

LLM의 특정 행동(예: refusal, compliance)을 제어하면서
기존 성능(유창성, 정확도)을 유지하는 것이 어려움

기존 방법:

Activation Addition: $h’ = h + \alpha d$
Directional Ablation: $h’ = h – (d^\top h)d$

문제:

coefficient tuning 어려움
과도한 개입 → 성능 붕괴
discrete control (on/off 느낌)

핵심 아이디어 (한 줄)

Activation steering = “벡터 이동”이 아니라 “각도 회전”이다

1. Angular Steering 핵심 개념

✔️ 기본 설정

activation: $h \in \mathbb{R}^d$
feature direction: $d_{\text{feat}}$
PCA 방향: $d_{\text{PC0}}$

–> 이 두 개로 2D subspace P 구성

✔️ 핵심 연산: Rotation

논문은 steering을 다음처럼 정의:

$h_{\text{steered}} = R_\theta^P(h)$

즉,

activation을 특정 feature 방향으로 회전
magnitude 유지 (norm-preserving)

✔️ 직관 (매우 중요)

논문 Fig.1 설명:

기존 방법:
- addition → 한 방향으로 밀기
- ablation → 직교 projection
제안 방법:
- 회전 = 더 general한 조작

핵심 insight:

기존 방법들은 사실 “회전의 특수한 경우”

2. 기존 방법과의 통합 (중요 기여)

Angular Steering은 아래를 모두 포함:

방법	Angular 관점
Activation Addition	특정 각도 (<180°) 회전
Directional Ablation	90° 회전
Linear combination	partial rotation

즉:

모든 steering = 2D 평면에서의 회전 문제

3. 왜 Rotation이 좋은가?

(1) Norm 안정성

RMSNorm 이후 activation → 거의 unit sphere
magnitude보다 direction이 중요

–> rotation = 자연스러운 조작

(2) Continuous control

angle $\theta$ 로 behavior를 연속적으로 제어

예:

20° → refusal
100° → indirect
200° → harmful compliance
300° → safe redirection

–> 실제로 behavior가 원형 trajectory로 변함

(3) Feature disentanglement

2D plane만 수정 → 다른 feature 영향 최소화

–> superposition hypothesis와 일치

4. Feature Direction 추출

✔️ 방법: Difference-in-Means

$d_{\text{feat}} = \mathbb{E}[h_{\text{harmful}}] – \mathbb{E}[h_{\text{harmless}}]$

harmful vs harmless dataset 사용
layer별 candidate 생성
cosine similarity 기반으로 최종 선택

–> 자동 selection (manual tuning 제거)

5. Steering Plane 구성 (핵심 설계)

단순히 span(h, d) 쓰지 않음!

이유:

noisy
다른 feature 섞임

✔️ 제안:

$P = \text{Span}(d_{\text{feat}}, d_{\text{PC0}})$

PCA로 2번째 축 생성
layer variation capture

–> 더 stable한 subspace

6. Adaptive Angular Steering (중요 확장)

모든 activation을 회전시키지 않음:

$\text{mask} = \max(0, \text{sign}(d^\top h))$

$h’ = h + \text{mask} \cdot (\text{rotation term})$

의미:

feature와 정렬된 activation만 조작

✔️ 효과

coherence 유지
작은 모델에서도 안정성 ↑

7. 실험 결과 핵심

✔️ (1) Behavior Control

각도 변화 → behavior가 연속적으로 변화
refusal ↔ compliance ↔ harmful

–> 매우 clean한 control curve

✔️ (2) 성능 유지

대부분 benchmark에서 성능 유지
일부는 오히려 향상

✔️ (3) Perplexity 분석

non-adaptive → 불안정
adaptive → 안정

–> “선택적 steering”이 핵심

8. 논문의 핵심 기여 요약

① 새로운 프레임워크

steering = rotation

② 기존 방법 통합

addition / ablation unified

③ 안정성 + 연속 제어

fine-grained control 가능

다음은 논문의 **방법론(Methodology)**을 수식 중심 + 구현 관점으로 정리한 것입니다. (핵심 파이프라인 기준)

전체 방법론 개요

Angular Steering은 다음 4단계로 구성됩니다:

(1) Feature direction 추출
→ (2) Steering plane 구성
→ (3) Rotation-based steering 연산
→ (4) Adaptive masking (선택적 적용)

1. Feature Direction 추출

✔️ 데이터 구성

$D_{\text{harmful}}$
$D_{\text{harmless}}$

✔️ activation 수집

각 layer의 normalization 이후 activation 사용 (= RMSNorm 이후, 방향 정보 안정)

✔️ Difference-in-Means

$d^{(i)}_{\text{feat}} = \mathbb{E}[h^{(i)}_{\text{harmful}}] – \mathbb{E}[h^{(i)}_{\text{harmless}}]$

layer마다 candidate direction 생성

✔️ 최종 direction 선택

$d_{\text{feat}} = \arg\max_i \sum_j \cos(d^{(i)}, d^{(j)})$

–> 다른 layer들과 가장 유사한 방향 선택

✔️ 특징:

manual tuning 없음
global feature direction 확보

2. Steering Plane 구성 (핵심 설계)

✔️ 목표

feature만 조작
다른 feature 간섭 최소화

✔️ 기존 방식 문제

$\text{Span}(h, d_{\text{feat}})$

문제:

input-dependent
다른 feature 섞임

✔️ 제안 방법

Step 1: PCA 수행

$\{d^{(i)}_{\text{feat}}\} \rightarrow \text{PCA}$

Step 2: 두 축 정의

$b_1 = d_{\text{feat}}, \quad b_2 = d_{\text{PC0}}$

Step 3: orthonormal basis

$b_2 \leftarrow \frac{b_2 – (b_2 \cdot b_1)b_1}{\| \cdot \|}$

✔️ 최종 subspace

$P = \text{Span}(b_1, b_2)$

–> global + stable steering plane

3. Angular Steering (핵심 연산)

✔️ 아이디어

activation을 plane P 위에서 회전

✔️ Rotation matrix

$R_\phi = \begin{bmatrix} \cos\phi & -\sin\phi \\ \sin\phi & \cos\phi \end{bmatrix}$

✔️ 전체 공간에서의 rotation

$R^P_\phi = I – (b_1 b_1^\top + b_2 b_2^\top) + [b_1 \ b_2] R_\phi [b_1 \ b_2]^\top$

의미:

P 평면에서는 회전
나머지 공간은 그대로 유지

✔️ 효율적 구현 (논문 핵심 trick)

직접 회전 대신:

$h_{\text{steered}} = h – \text{proj}_P(h) + \|\text{proj}_P(h)\| \cdot [b_1\ b_2] R_\theta \begin{bmatrix}1\\0\end{bmatrix}$

✔️ 구성 요소

projection

$\text{proj}_P(h) = (b_1 b_1^\top + b_2 b_2^\top)h$

직관

기존 component 제거
원하는 각도로 재삽입

4. Adaptive Angular Steering (중요)

✔️ 문제

모든 token / activation을 회전 → over-intervention

✔️ 해결: conditional mask

$\text{mask} = \max(0, \text{sign}(d_{\text{feat}}^\top h))$

✔️ 최종 식

$h’ = h + \text{mask} \cdot \Big( \|\text{proj}_P(h)\| \cdot v_\theta – \text{proj}_P(h) \Big)$

✔️ 의미

경우	동작
feature aligned	rotation 적용
반대 방향	그대로 유지

–> 필요한 activation만 수정

5. Inference 적용 위치

각 layer의 Normalization 이후
Attention + MLP 전에 적용

–> Transformer block 내부에 삽입

6. 전체 알고리즘 (요약)

Training (offline)

for data in {harmful, harmless}:
    collect normalized activations

compute d_feat via mean difference
select best layer direction
compute PCA → get d_PC0
construct plane P

Inference (online)

for each layer:
    h = normalized activation

    proj = projection onto P
    compute rotated vector v_theta

    if adaptive:
        mask = sign(d_feat^T h)
    else:
        mask = 1

    h' = h + mask * (v_theta - proj)

방법론 핵심 요약

✔️ 기존

addition → 크기 기반 조작
ablation → 제거

✔️ 제안

rotation → 방향 기반 조작

✔️ 장점

속성	효과
continuous	fine-grained control
norm-preserving	안정성
2D subspace	최소 간섭
adaptive mask	coherence 유지

논문의 **실험 결과(Experiments)**는 크게 3가지 축으로 구성됩니다:

(1) Behavior control (refusal / safety)
(2) General capability 유지 여부
(3) Perplexity / coherence 분석

각각을 정량 + 정성 + 해석 관점에서 정리합니다.

1. Behavior Control 실험 (핵심 결과)

✔️ 설정

Task: harmful prompt에 대한 refusal steering
모델: Qwen, LLaMA, Gemma (3B~14B)
각도 θ: 0° ~ 360° (10° 간격 sweep)

✔️ 결과 핵심

(A) “Behavior는 원형 trajectory를 따른다”

각도 θ에 따라:
- refusal ↑ → compliance ↑ → harmful ↑ → 다시 refusal

즉:

behavior = f(angle)

→ 연속적이고 주기적인 control 가능

Fig.7 (page 8):

refusal score vs harmful score가 서로 반대 방향 arc 형성

(B) 정성적 behavior 변화

논문 Table (page 2) 예시:

각도	행동
20°	완전 refusal
100°	간접 응답
200°	harmful 생성
300°	safe redirection

–> discrete class가 아니라 continuous transition

(C) LLM-as-a-judge 결과

output을 4가지로 분류:
- direct
- indirect
- redirect
- refusal

Fig.7(b):

특정 각도 구간에서 refusal dominance
반대 구간에서 direct/harmful dominance

✔️ 핵심 결론

Angular Steering은 behavior를 “on/off”가 아니라

“continuous control”로 바꾼다

2. General Capability 유지 (매우 중요)

✔️ 설정

benchmark: TINYBENCHMARKS
- ARC, MMLU, GSM8K, HellaSwag 등

✔️ 결과

Fig.8(a):

대부분 각도에서:
- 성능 ≈ baseline 유지
일부 구간:
- 오히려 성능 상승

✔️ 예외

Qwen-3B:
- 특정 각도 (160°~280°)에서 성능 감소

원인:

feature interference (latent feature 충돌)

✔️ 핵심 해석

특징	의미
대부분 유지	non-destructive steering
일부 향상	regularization 효과 가능
일부 붕괴	subspace quality 문제

3. Perplexity & Coherence 분석

✔️ 설정

비교:

no steering
non-adaptive steering
adaptive steering

✔️ 결과

Fig.8(b):

(A) Non-adaptive

perplexity ↑↑
incoherent output 발생

(B) Adaptive (제안 방법)

perplexity ≈ baseline
안정적

핵심:

Selective steering이 coherence 유지에 필수

✔️ 추가 관찰 (매우 흥미로운 포인트)

논문 해석:

harmful output → perplexity 낮음
refusal output → perplexity 높음

의미:

harmful behavior = pretraining prior
refusal behavior = alignment override

→ alignment는 표면적인 수정일 가능성

4. 주요 실험 인사이트 정리

✔️ Insight 1: Behavior는 circle structure

$\text{behavior} \sim S^1 \text{ manifold}$

–> 매우 중요한 geometric insight

✔️ Insight 2: Steering = trade-off curve

refusal ↑ ↔ harmful ↓
compliance ↑ ↔ safety ↓

✔️ Insight 3: Subspace quality 중요

잘못된 plane → 성능 붕괴
random plane → 효과 없음

–> 실제 ablation에서 확인됨

✔️ Insight 4: Small model 문제

3B 모델:
- incoherent
- language drift 발생

원인:

feature disentanglement 부족

5. 기존 방법 대비 비교

항목	기존 (Addition / Ablation)	Angular
control	discrete	continuous
stability	hyperparameter 민감	안정적
interpretability	낮음	높음
generalization	제한적	강함

6. 논문 전체 실험 결론

✔️ 핵심 메시지

Angular Steering은

(1) behavior를 연속적으로 제어하면서

(2) 성능을 유지하고

(3) coherence를 보존한다

연구 관점에서 중요한 해석

(1) Behavior manifold 가정

behavior는 linear direction이 아니라
circular / manifold 구조

–> 기존 steering 가정 깨짐

(2) Alignment의 본질

perplexity 결과:

–> alignment는

latent 제거가 아니라
surface-level reweighting

(3) Subspace가 핵심 병목

현재:

PCA 기반

*** Angular Steering: Behavior Control via Rotation in Activation Space (NeurIPS 2025)

논문 개요

핵심 문제

핵심 아이디어 (한 줄)

1. Angular Steering 핵심 개념

✔️ 기본 설정

✔️ 핵심 연산: Rotation

✔️ 직관 (매우 중요)

2. 기존 방법과의 통합 (중요 기여)

3. 왜 Rotation이 좋은가?

(1) Norm 안정성

(2) Continuous control

(3) Feature disentanglement

4. Feature Direction 추출

✔️ 방법: Difference-in-Means

5. Steering Plane 구성 (핵심 설계)

이유:

✔️ 제안:

6. Adaptive Angular Steering (중요 확장)

✔️ 효과

7. 실험 결과 핵심

✔️ (1) Behavior Control

✔️ (2) 성능 유지

✔️ (3) Perplexity 분석

8. 논문의 핵심 기여 요약

① 새로운 프레임워크

② 기존 방법 통합

③ 안정성 + 연속 제어

전체 방법론 개요

1. Feature Direction 추출

✔️ 데이터 구성

✔️ activation 수집

✔️ Difference-in-Means

✔️ 최종 direction 선택

2. Steering Plane 구성 (핵심 설계)

✔️ 목표

✔️ 기존 방식 문제

✔️ 제안 방법

Step 1: PCA 수행

Step 2: 두 축 정의

Step 3: orthonormal basis

✔️ 최종 subspace

3. Angular Steering (핵심 연산)

✔️ 아이디어

✔️ Rotation matrix

✔️ 전체 공간에서의 rotation

✔️ 효율적 구현 (논문 핵심 trick)

✔️ 구성 요소

projection

직관

4. Adaptive Angular Steering (중요)

✔️ 문제

✔️ 해결: conditional mask

✔️ 최종 식

✔️ 의미

5. Inference 적용 위치

6. 전체 알고리즘 (요약)

Training (offline)

Inference (online)

방법론 핵심 요약

✔️ 기존

✔️ 제안

✔️ 장점

1. Behavior Control 실험 (핵심 결과)

✔️ 설정

✔️ 결과 핵심

(A) “Behavior는 원형 trajectory를 따른다”

(B) 정성적 behavior 변화

(C) LLM-as-a-judge 결과

✔️ 핵심 결론

2. General Capability 유지 (매우 중요)

✔️ 설정

✔️ 결과

✔️ 예외

✔️ 핵심 해석

3. Perplexity & Coherence 분석

✔️ 설정

✔️ 결과

(A) Non-adaptive

(B) Adaptive (제안 방법)