https://www.dropbox.com/scl/fi/wz3fsywxso9q074mnd60a/eacl26_Mapping_LLM_Safety_Neurons.pdf?rlkey=204lilpoeoz69mpth0wgrl4bt&dl=0

논문 개요

핵심 질문:

정렬된 LLM이 유해 요청을 거부하거나 정상 요청에 응답하도록 만드는 내부 메커니즘을, MLP 뉴런 수준에서 찾고 조작할 수 있는가?

논문의 주장은 다음과 같습니다.

1. LLM의 MLP에는 안전 관련 판단을 담당하는 희소한 safety knowledge neurons가 존재한다.
2. 이 뉴런들의 활성화를 vocabulary space에 투영하면,
   • 유해 입력에서는 rejection 지식
   • 정상 입력에서는 compliance/conformity 지식
     이 나타난다.
3. 이 활성화 방향을 조작하면 모델을 거의 완전히 탈옥시키거나, 반대로 정상 질문까지 거부하게 만들 수 있다.
4. 이를 이용해 안전 뉴런만 선택적으로 fine-tuning하는 SafeTuning을 제안하며, 여러 jailbreak 공격에 대해 높은 방어 성능을 보인다. 

---

1. 논문의 전체 구조

논문은 크게 세 단계로 구성됩니다.

단계	목적	제안 방법
1	안전 관련 뉴런 탐색 및 해석	Safety Knowledge Neuron Identification
2	해당 뉴런의 인과적 역할 검증	ActCali
3	뉴런을 강화하여 jailbreak 방어	SafeTuning

핵심 논리는 다음과 같습니다.

$\text{유해/정상 입력}\rightarrow\text{안전 뉴런의 상이한 활성화}\rightarrow\text{거부/응답 방향 형성}\rightarrow\text{최종 출력}$

즉, jailbreak는 단순히 최종 layer의 logit이 교란되는 현상이 아니라, 중간 MLP에서 형성되는 거부 대 순응의 내부 활성화 구조가 뒤집히는 현상으로 해석합니다.

---

2. 사전 정의: MLP 뉴런을 knowledge neuron으로 보는 방법

Transformer의 l번째 layer에 있는 MLP를 다음처럼 표현합니다.

$e_l=\sigma(s_l\Theta^{up}_l)\Theta^{down}_l$

여기서

• $s_l\in\mathbb{R}^{d}$: attention block 이후 MLP에 들어가는 표현
• $\Theta^{up}_l\in\mathbb{R}^{d\times w}$: up-projection
• $\Theta^{down}_l\in\mathbb{R}^{w\times d}$: down-projection
• w: MLP intermediate dimension
• $e_l\in\mathbb{R}^{d}$: residual stream에 더해지는 MLP 출력

이를 뉴런 단위로 분해하면,

$e_l=\sum_{i=1}^{w} a_l^i r_l^i$

가 됩니다.

여기서

$a_l^i=\sigma(s_l\theta_l^i)$

• $\theta_l^i$: $\Theta^{up}_l$의 i번째 column
• $a_l^i$: i번째 MLP 뉴런의 scalar activation

그리고 $r_l^i$ 는 $\Theta^{down}_l$의 i번째 row입니다.

따라서 각 MLP 뉴런은 $a_l^i r_l^i$ 라는 벡터를 residual stream에 추가합니다.

논문은 $r_l^i$를 하나의 knowledge direction으로 간주합니다. 이는 Knowledge Neurons 계열 연구와 유사하게, down-projection의 각 row가 특정 의미적 방향을 나타낸다는 해석입니다.

---

3. 방법론 1: Safety Knowledge Neuron 식별

3.1 뉴런 중요도 계산

각 뉴런의 layer output 기여도를 다음과 같이 계산합니다.

$c_l^i=a_l^i\cdot \lVert r_l^i\rVert$

이는 뉴런의 중요도를

• activation magnitude
• output direction의 norm

두 요소의 곱으로 정의한 것입니다.

단순 activation만 보는 것이 아니라, 실제 residual stream에 얼마나 큰 벡터를 추가하는지를 근사하려는 의도입니다.

각 layer에서 $c_l^i$가 상위 $k\%$인 뉴런을 important knowledge neuron으로 선택합니다.

$N_l=\left\{r_l^i\mid i\in\operatorname{TopK}\left(\{c_l^j\}_{j=1}^{w},\lceil kw\rceil\right)\right\}$

전체 layer를 합쳐 $N=\bigcup_{l=1}^{L}N_l$ 을 구성합니다.

---

3.2 유해 입력에서 중요한 뉴런

유해 prompt corpus를 H라고 하면, H를 입력했을 때 반복적으로 중요하게 활성화되는 뉴런을 safety-related neuron 후보로 봅니다.

$N_s=\left\{r_l^i\mid r_l^i\in N\text{ for harmful corpus }H\right\}$

하지만 이 집합을 그대로 사용하면 문제가 생깁니다.

유해 prompt를 이해하려면 모델은 안전 판단뿐 아니라 다음과 같은 일반적 능력도 사용합니다.

• 문장 구조 이해
• 명령어 인식
• 의미 파악
• 주제 및 행위 식별
• 다음 토큰 생성

따라서 유해 입력에서 활성화된 뉴런 중 상당수는 안전 전용 뉴런이 아니라 일반 언어 처리 뉴런일 수 있습니다.

---

3.3 정상 입력과 공유되는 뉴런 제거

정상 prompt corpus를 B라고 하고, 정상 입력에서도 중요한 뉴런 집합을 다음과 같이 구합니다.

$N_f=\left\{r_l^i\mid r_l^i\in N\text{ for benign corpus }B\right\}$

최종적으로 safety-critical neuron을

$N_r=N_s-N_f$ 로 정의합니다.

즉, 유해 입력에서 중요하지만 정상 입력에서는 중요하지 않은 뉴런만 남깁니다.

이 subtraction이 논문의 중요한 설계입니다.

논문은 이를 safety neuron isolation이라고 해석합니다. 정상 입력과 공유되는 뉴런을 제거하지 않고 activation steering이나 fine-tuning을 수행하면, 일반 언어 능력이 크게 손상된다고 주장합니다.

---

3.4 이 식별 방법의 성격

이 방법은 엄밀히 말하면 causal attribution이 아니라 activation-based sensitivity ranking입니다.

즉, 처음 뉴런을 찾을 때는

• ablation
• causal mediation
• activation patching
• integrated gradients

등을 사용하지 않습니다.

대신 높은 activation contribution을 가진 뉴런을 먼저 찾고, 이후 ActCali 실험으로 그 뉴런의 인과적 역할을 검증합니다.

따라서 방법론의 논리 순서는 다음과 같습니다.

$\text{correlational identification}\rightarrow\text{intervention-based causal validation}$

---

4. 방법론 2: Safety neuron의 vocabulary-space 해석

이 논문의 가장 독특한 부분입니다.

기존 Logit Lens 계열 방법은 보통 중간 hidden state $h_l$를 vocabulary projection matrix에 통과시킵니다.

$\text{logits}_l=W_U h_l$

그러나 중간 hidden state는 이전 layer의 결과를 누적한 표현이므로, 특정 MLP 뉴런이 현재 layer에서 추가한 의미를 직접 보기 어렵습니다.

논문은 전체 hidden state 대신, 선택된 safety neuron들의 출력만 모아 vocabulary space로 투영합니다.

---

4.1 정상 및 유해 입력의 safety-neuron representation

정상 corpus B에 대해 layer l의 safety representation을

$p_l^B=\frac{1}{|B|}\sum_{b\in B}\sum_{r\in N_r}a_{l,b}^{r}r$

로 계산합니다.

유해 corpus H에 대해서는

$p_l^H=\frac{1}{|H|}\sum_{h\in H}\sum_{r\in N_r}a_{l,h}^{r}r$

입니다.

즉, 선택된 뉴런들이 residual stream에 실제로 기여하는 벡터를 평균한 것입니다.

중요한 점은 단순히 activation vector $\mathbf a$만 보는 것이 아니라,

$a_i r_i$ 를 합산해 모델 embedding space의 벡터를 복원한다는 것입니다.

---

4.2 Vocabulary projection

각 $p_l$을 vocabulary projection $\Gamma$로 변환합니다.

$G_l^d=\operatorname{TopT}(\Gamma(p_l))$

여기서 $G_l^d$는 layer l에서 가장 높은 logit을 갖는 top-T token입니다.

실험에서는

• T=3
• neuron selection ratio k=2.5%

를 사용합니다.

---

4.3 Compliance direction과 rejection direction

정상 및 유해 prompt representation의 차이를 다음과 같이 정의합니다.

Compliance direction

$d_c=p^B-p^H$

Rejection direction

$d_r=p^H-p^B$

따라서 $d_r=-d_c$ 입니다.

논문의 해석은 다음과 같습니다.

• $d_c$: harmful-state를 benign/compliant-state로 이동시키는 방향
• $d_r$: benign-state를 harmful/refusal-state로 이동시키는 방향

명칭이 다소 혼동될 수 있습니다. 여기서 compliance는 “안전 정책에 따름”이라기보다는 사용자의 요청에 응답하는 것을 의미합니다.

---

4.4 발견된 vocabulary pattern

Llama-2-7B-chat과 Vicuna-7B-v1.5에서 다음과 같은 패턴을 관찰합니다.

정상 입력에서 활성화되는 방향은 다음 계열의 token과 연결됩니다.

• Answer
• Why
• Execute
• instruct
• Safety

유해 입력에서 활성화되는 방향은 다음 계열의 token과 연결됩니다.

• Impossible
• Ban
• Cannot
• controversial
• avoid

논문은 이 패턴이 중간 이후 layer에서 나타나며, Llama-2에서는 대략 layer 10 정도부터 개념적으로 일관된 refusal/compliance token이 관찰된다고 주장합니다.

페이지 4의 Figure 2에서는 PCA 공간에서 정상 prompt와 유해 prompt의 safety-neuron activation이 layer 전반에 걸쳐 비교적 선형적으로 분리되는 모습도 제시합니다. 

---

5. 왜 기존 Logit Lens보다 의미가 명확하다고 주장하는가

기존 방식은 중간 hidden state 전체를 해석합니다.

$h_l=h_{l-1}+\operatorname{Attn}_l(h_{l-1})+\operatorname{MLP}_l(\cdot)$

따라서 $h_l$에는

• 이전 layer의 누적 정보
• attention output
• 현재 MLP output
• 여러 기능적 subspace

가 혼합되어 있습니다.

반면 논문은 현재 MLP에서 safety neuron이 더한 부분만 사용합니다.

$\Delta h_l^{\text{safety}}=\sum_{r_i\in N_r}a_i r_i$

이를 vocabulary space에 투영하면 현재 layer가 추가한 국소적 safety judgment를 더 직접적으로 볼 수 있다는 주장입니다.

논문의 Figure 5는 이를 다음과 같이 설명합니다.

• 기존 방법: 이전 layer와 projection 과정의 간섭이 누적됨
• 제안 방법: 현재 layer의 safety-neuron contribution을 직접 번역함

다만 “vocabulary projection 과정의 distortion을 피한다”는 설명은 완전히 정확하지는 않습니다. 제안 방법도 결국 unembedding/vocabulary projection을 사용하기 때문입니다. 실제 차이는 projection 자체를 피하는 것이 아니라, projection에 넣는 representation을 더 국소적으로 제한한다는 데 있습니다.

---

6. 방법론 3: ActCali

ActCali는 식별된 safety direction을 inference 중에 직접 주입하는 intervention입니다.

6.1 기본 식

원래 MLP output은

$e_l=\sigma(s_l\Theta_l^{up})\Theta_l^{down}$

입니다.

ActCali에서는

$e’_l=\sigma(s_l\Theta_l^{up})\Theta_l^{down}+\alpha d$

로 변경합니다.

여기서 $d\in\{d_c,d_r\}$ 입니다.

• harmful prompt에 $d_c$를 주입:
  • 거부 상태를 compliance 상태 쪽으로 이동
  • 모델이 유해 요청에 응답하도록 유도
• benign prompt에 $d_r$를 주입:
  • 정상 응답 상태를 rejection 상태 쪽으로 이동
  • 모델이 무해한 요청을 거부하도록 유도

---

6.2 실제로 safety neuron만 조작하는가?

논문의 식만 보면 전체 MLP output에 d를 추가하는 일반적인 activation addition처럼 보입니다.

그러나 저자들의 설명은 d가 safety neuron set $N_r$의 출력으로 구성되므로, 일반 activation steering과 달리 safety-specific subspace만 조작한다는 것입니다.

즉,

$d=\sum_{i\in N_r}\Delta a_i r_i$ 와 유사한 형태로 이해할 수 있습니다.

다만 논문 본문에서는 token별·layer별 실제 구현이 충분히 상세하게 명시되어 있지는 않습니다. “calibrated token depth = 5”라고 되어 있어, 생성 초반 5개 token 동안 개입하는 것으로 해석됩니다.

---

6.3 실험 설정

모델

• Vicuna-7B-v1.5
• Llama-2-7B-chat

데이터

• AdvBench의 harmful prompt 100개
• AlpacaEval의 benign prompt 100개

Safety neuron 식별에 사용한 prompt와 평가 prompt는 겹치지 않도록 제외합니다.

하이퍼파라미터

• $\alpha=3$
• calibrated token depth = 5
• 영향받는 parameter 규모 약 0.3%

다만 여기서 “0.3% parameters modified”라는 표현은 엄밀히 보면 다소 모호합니다. ActCali는 weight를 변경하는 방식이 아니라 activation intervention이므로, 실제로는 전체 파라미터 중 0.3%에 대응하는 뉴런의 activation이 개입된다는 의미에 가깝습니다.

---

6.4 비교 방법

세 가지 representation-level attack과 비교합니다.

Logit Graft

정상 prompt와 유해 prompt의 중간 hidden state를 교환합니다.

SCAV

Safety concept activation vector를 여러 layer에 주입해 무해한 상태를 모사합니다.

Soft Embedding

입력 embedding이나 soft prompt를 최적화하여 목표 출력을 생성하도록 합니다.

Soft Embedding은 target output이 필요한 반면 ActCali는 특정 target 문장을 필요로 하지 않습니다.

---

7. ActCali 실험 결과

7.1 AdvBench: 유해 요청에 응답하도록 만들기

모델	방법	ASR	Harmful Score	Language Score
Vicuna	Logit Graft	100%	4.62	7.13
Vicuna	SCAV	79%	3.58	7.06
Vicuna	Soft Embedding	98%	4.18	4.82
Vicuna	ActCali	100%	4.62	7.07
Llama-2	Logit Graft	0%	1.00	8.94
Llama-2	SCAV	85%	4.18	7.05
Llama-2	Soft Embedding	87%	3.30	7.00
Llama-2	ActCali	99%	4.01	8.00

핵심 결과는 Llama-2입니다.

Llama-2는 Vicuna보다 안전 정렬이 강해 Logit Graft가 전혀 성공하지 못했지만, ActCali는 99% ASR을 달성합니다.

또한 Soft Embedding보다 language score가 높습니다.

이는 safety-neuron direction이 단순히 출력을 망가뜨려 refusal detector를 회피한 것이 아니라, 비교적 유창한 harmful response를 생성하도록 했음을 시사합니다.

---

7.2 AlpacaEval: 정상 요청을 거부하도록 만들기

모델	방법	ASR	Useful Score	Language Score
Vicuna	Logit Graft	66%	4.76	8.00
Vicuna	SCAV	6%	5.86	7.25
Vicuna	Soft Embedding	96%	3.56	5.06
Vicuna	ActCali	92%	3.00	7.25
Llama-2	Logit Graft	22%	5.16	7.87
Llama-2	SCAV	68%	3.78	6.06
Llama-2	Soft Embedding	98%	3.76	5.40
Llama-2	ActCali	100%	3.02	7.20

여기서 attack success는 정상 질문을 부당하게 거부하도록 만드는 것입니다.

ActCali는

• Vicuna 92%
• Llama-2 100%

를 달성합니다.

따라서 safety direction은 단지 jailbreak 방향으로만 작동하는 것이 아니라, 반대 방향으로도 작동합니다.

이 bidirectional controllability가 저자들이 safety neuron의 causal role을 주장하는 핵심 근거입니다.

---

7.3 평균 97% 이상이라는 의미

네 개 조건의 ActCali ASR은

$100,\;92,\;99,\;100$

이므로 평균은

$\frac{100+92+99+100}{4}=97.75\%$

입니다.

따라서 초록에서 말하는 “mean ASR higher than 97%”는 benign refusal과 harmful compliance를 모두 포함한 평균입니다.

---

8. ActCali 결과가 인과적 증거인가?

상당히 강한 intervention evidence이지만, 완전한 causal localization은 아닙니다.

강한 점은 다음과 같습니다.

1. 찾은 direction을 조작했을 때 행동이 변함
2. 방향을 반대로 하면 행동도 반대로 변함
3. 두 모델에서 반복됨
4. 언어 유창성은 비교적 유지됨

그러나 다음 한계가 있습니다.

• 같은 크기의 random direction과 비교하지 않음
• neuron ranking을 섞은 random-neuron control이 제한적임
• 단일 뉴런 또는 뉴런별 causal effect를 측정하지 않음
• 여러 layer에 동일한 방향을 추가하는 효과와 특정 neuron의 효과가 분리되지 않음
• direction이 safety 개념인지 단순 refusal style direction인지 완전히 구분되지 않음

따라서 이 결과는

“safety-neuron subspace가 모델의 거부/응답 행동을 강하게 제어한다”는 증거는 되지만,

“각각의 선택된 뉴런이 독립적으로 안전 지식을 저장한다”는 것까지 증명하지는 않습니다.

---

9. 방법론 4: SafeTuning

ActCali에서 발견한 safety neuron을 fine-tuning하여 jailbreak 방어를 강화하는 방법입니다.

전체 과정은 세 단계입니다.

---

9.1 단계 1: Safety neuron과 activation pathway 식별

Section 3과 동일하게 safety-critical neuron을 찾습니다.

여기서 저자들은 두 종류의 parameter를 업데이트합니다.

1. Safety knowledge
   • $\Theta^{down}$의 선택된 row
   • 뉴런이 residual stream에 쓰는 semantic direction
2. Activation pathway
   • $\Theta^{up}$의 대응 column
   • 해당 뉴런이 언제 얼마나 활성화되는지를 결정

즉, 뉴런 i에 대해 $\theta_l^i\quad\text{and}\quad r_l^i$ 를 함께 fine-tuning합니다.

이 점은 down-projection row만 수정하는 단순 knowledge editing과 다릅니다.

• up-projection: harmful input을 감지하도록 함
• down-projection: 감지된 후 rejection direction을 출력하도록 함

---

9.2 단계 2: 모델 자체로 refusal corpus 생성

외부 safety tuning dataset을 그대로 사용하면 token distribution shift가 발생할 수 있다고 주장합니다.

그래서 모델 자체의 표현 스타일을 유지하기 위해, ActCali를 이용해 모델이 harmful prompt에 refusal response를 생성하도록 합니다.

결과적으로 다음과 같은 데이터셋을 만듭니다.

$S=\left\{(X_{\text{harm}},Y_{\text{refuse}})\right\}$

실험에서는 AdvBench에서 300개의 harmful prompt를 선택하고, 각 prompt에 대해 모델이 생성한 refusal output을 수집합니다.

이 방식은 일종의 self-generated safety distillation입니다.

---

9.3 단계 3: Neuron-specific fine-tuning

학습 loss는 표준 conditional language modeling loss입니다.

$\mathcal L=-\log P_\theta\left(Y_{\text{refuse}}\mid X_{\text{harm}}\right)$

중요한 차이는 전체 모델을 업데이트하지 않는다는 것입니다.

선택된 safety neuron과 해당 activation pathway에만 gradient를 적용합니다.

개념적으로 mask M을 사용하면,

$\theta\leftarrow\theta-\eta M\odot\nabla_\theta\mathcal L$

로 표현할 수 있습니다.

여기서 M은

• 선택된 $\Theta^{up}$ column
• 선택된 $\Theta^{down}$ row

에서만 1이고 나머지는 0입니다.

---

9.4 SafeTuning의 목표

SafeTuning은 safety knowledge를 새로 주입한다기보다, 기존 safety circuit을 다음 두 측면에서 강화합니다.

Harmful input detection 강화

$X_{\text{harm}}\rightarrow a_l^i\uparrow$

Rejection representation 강화

$a_l^i r_l^i\rightarrow\text{stronger refusal direction}$

따라서 jailbreak prompt가 표현을 변형해도 safety-critical neuron이 더 안정적으로 활성화되도록 학습하는 것으로 이해할 수 있습니다.

---

10. SafeTuning 실험 설정

모델

• Vicuna-7B-v1.5
• Llama-2-7B-chat

학습 데이터

• AdvBench harmful prompt 300개
• ActCali로 생성한 refusal response
• 총 300개의 $(harmful\ input, refusal\ output)$ pair

뉴런 비율

k=3%

각 layer 또는 전체 후보 중 상위 3%의 safety-critical neuron을 식별합니다.

평가 공격

1. GCG
   • gradient 기반 adversarial suffix
2. PAIR
   • attacker LLM 기반 black-box jailbreak
3. Prompt with Random Search
   • 단순하지만 adaptive한 prompt search
4. AIM
   • role-play 및 instruction-based jailbreak template

평가 prompt는 SafeTuning 학습에 사용된 AdvBench와 중복되지 않는 JailbreakBench 100개를 사용합니다.

비교 방어법

• PPL filtering
• ICD
• Self-Reminder
• SafeDecoding

---

11. SafeTuning의 평가 지표

Attack Success Rate

모델이 32-token prefix 안에서 refusal하지 않고 의미 있는 답을 하면 공격 성공으로 간주합니다.

$\operatorname{ASR}=\frac{\#\text{successful jailbreaks}}{\#\text{attack prompts}}$

Harmfulness Score

별도의 LLM judge가 출력 유해성을 평가합니다.

낮을수록 안전합니다.

AlpacaEval Win Rate

정상 prompt에 대한 utility를 평가합니다.

기준 모델은 text_davinci_003이며, defense 적용 모델의 답변이 기준 모델보다 더 좋은 비율을 측정합니다.

따라서 좋은 방어는

• ASR ↓
• Harmfulness Score ↓
• AlpacaEval Win Rate ↑

를 동시에 달성해야 합니다.

---

12. SafeTuning 주요 실험 결과

12.1 Vicuna

방어	Alpaca Win Rate	GCG ASR	PAIR ASR	Random Search ASR	AIM ASR
No Defense	61.5%	33%	66%	95%	68%
PPL	41.0%	0%	53%	70%	59%
ICD	47.5%	15%	37%	92%	57%
Self-Reminder	47.5%	17%	47%	93%	68%
SafeDecoding	44.3%	2%	16%	40%	1%
SafeTuning	54.1%	0%	5%	13%	0%

Vicuna는 공격에 매우 취약합니다.

No Defense에서

• PAIR 66%
• Random Search 95%
• AIM 68%

의 ASR을 보입니다.

SafeTuning 적용 후

• GCG: 0%
• PAIR: 5%
• Random Search: 13%
• AIM: 0%

로 감소합니다.

특히 가장 강한 Random Search 공격에서

$95\%\rightarrow13\%$ 로 82 percentage point 감소합니다.

상대 감소율은 $\frac{95-13}{95}\approx86.3\%$ 입니다.

---

12.2 Vicuna의 Harmfulness Score

공격	No Defense	SafeTuning
GCG	2.78	1.00
PAIR	3.46	1.12
Random Search	4.64	1.46
AIM	4.58	1.00

SafeTuning은 ASR뿐 아니라 실제 출력의 harmfulness도 크게 낮춥니다.

예를 들어 Random Search에서 $4.64\rightarrow1.46$ 으로 감소합니다.

즉, 단순히 refusal keyword만 출력하도록 조작한 것이 아니라, judge 기준에서도 출력이 안전해졌다는 결과입니다.

---

12.3 Llama-2

방어	Alpaca Win Rate	GCG ASR	PAIR ASR	Random Search ASR	AIM ASR
No Defense	58.6%	10%	1%	69%	0%
PPL	25.9%	0%	1%	69%	0%
ICD	15.7%	2%	1%	0%	0%
Self-Reminder	15.6%	4%	1%	2%	0%
SafeDecoding	36.2%	2%	0%	3%	0%
SafeTuning	60.0%	1%	0%	1%	0%

Llama-2는 기본적으로 Vicuna보다 안전합니다.

하지만 Random Search에는 여전히 취약하여 ASR이 69%입니다.

SafeTuning은 이를 $69\%\rightarrow1\%$ 로 낮춥니다.

더 중요한 결과는 utility입니다.

• No Defense: 58.6%
• SafeTuning: 60.0%

즉, 안전성이 높아졌음에도 AlpacaEval utility가 오히려 소폭 증가합니다.

반면 prompt-based defense들은 utility를 크게 손상시킵니다.

• ICD: 15.7%
• Self-Reminder: 15.6%
• PPL: 25.9%

이는 SafeTuning의 핵심 장점입니다.

---

13. 방어법별 특성 비교

PPL defense

GCG처럼 비정상적인 adversarial suffix에는 강합니다.

그러나 자연어 기반 공격에는 약합니다.

Vicuna에서

• GCG: 0%
• PAIR: 53%
• Random Search: 70%
• AIM: 59%

입니다.

즉, prompt가 낮은 perplexity를 가지면 방어하기 어렵습니다.

---

ICD / Self-Reminder

시스템 prompt나 in-context demonstration으로 안전 행동을 유도합니다.

그러나 공격 prompt가 강해지면 safety instruction이 override될 수 있습니다.

또한 정상 질문에서도 과도한 refusal이나 답변 품질 저하가 발생하여 utility가 크게 하락합니다.

---

SafeDecoding

생성 시 refusal token의 확률을 높이므로 대부분의 공격에 강합니다.

그러나

• inference-time 추가 연산 필요
• decoding procedure 변경 필요
• 복잡한 Random Search에서 Vicuna ASR 40%

라는 한계가 있습니다.

---

SafeTuning

• inference-time overhead 없음
• 모델 내부의 safety pathway를 강화
• 공격 형식에 덜 의존
• utility 보존이 상대적으로 우수

하다는 것이 논문의 결론입니다.

---

14. Ablation: safety neuron isolation이 중요한 이유

논문은 safety neuron에서 정상 입력과 공유되는 functional neuron을 제거하지 않으면 문제가 발생한다고 주장합니다.

즉, $N_s$ 전체를 조작하거나 fine-tuning하지 않고,

$N_r=N_s-N_f$ 만 사용해야 한다는 것입니다.

---

14.1 Isolation 없이 activation steering

Isolation 없이 activation을 조작하면 일반적인 Activation Steering과 비슷해집니다.

논문에 따르면 평균 attack success가 약 20% 수준에 불과하며, 출력도 심하게 손상됩니다.

예를 들어 “firearms”를 “fire”로 잘못 이해하거나, 문장 구조가 붕괴하거나, 반복 token을 생성합니다.

이는 harmful prompt에서 활성화된 뉴런 전체를 수정할 경우, 안전 판단 뉴런뿐 아니라

• lexical understanding
• syntax
• instruction following
• content representation

관련 뉴런도 함께 교란되기 때문이라고 해석합니다.

---

14.2 Isolation 없는 fine-tuning

논문은 SN-Tune 방식과 유사하게 shared neuron을 제거하지 않고 fine-tuning한 결과도 비교합니다.

방법	GCG	PAIR	Random Search	AIM
Without isolating	8%	2%	26%	0%
SafeTuning	1%	0%	1%	0%

방어 성능도 SafeTuning보다 낮고, 정상 prompt에 대해 반복·형식 붕괴가 심하게 나타납니다.

예를 들어 [INST] token을 반복하거나 같은 문구가 무한 반복되는 현상이 보고됩니다.

이는 neuron isolation이 단순 utility-preservation 장치가 아니라, 학습 안정성에도 중요하다는 주장입니다.

---

15. 뉴런 비율 k에 대한 분석

Vicuna에서 safety-neuron ratio k를 변화시키며 ASR과 Useful Score를 측정합니다.

논문의 Figure 4에 따르면 다음 경향이 나타납니다.

1. 매우 적은 뉴런만 tuning해도 방어 성능이 향상됨
2. 약 1%의 safety neuron만 식별해도 효과가 나타남
3. 실제 tuned parameter는 전체의 0.1% 미만일 수 있음
4. k가 지나치게 커지면 오히려 효과가 감소함

저자들의 설명은 다음과 같습니다.

k가 커지면 harmful prompt와 benign prompt에서 공통으로 중요한 뉴런이 증가합니다.

이들은 $N_f$에 포함되어 제거되므로, 최종 safety-specific set N_r가 반드시 비례해서 커지지 않습니다.

또한 낮은 순위의 뉴런까지 포함되면서 safety-specificity가 떨어질 수 있습니다.

따라서 safety knowledge가 매우 희소하다는 결론을 제시합니다.

---

16. 이 논문에서 가장 중요한 실험적 주장

주장 1: Safety behavior는 희소한 MLP subspace에 집중된다

매우 적은 비율의 뉴런만 조작해도 모델의 거부/응답 행동이 거의 완전히 반전됩니다.

이는 safety alignment가 전체 네트워크에 균일하게 분산되어 있다기보다, 특정 MLP direction에 상당히 의존한다는 것을 시사합니다.

---

주장 2: Refusal과 compliance는 하나의 양방향 축으로 표현될 수 있다

$d_c=p^B-p^H,\qquad d_r=-d_c$

라는 단일 difference vector가 양쪽 행동을 모두 제어합니다.

이는 safety behavior가 고차원의 복잡한 manifold라기보다, 적어도 일부 layer에서는 비교적 저차원적인 선형 방향으로 표현된다는 주장입니다.

---

주장 3: Jailbreak는 safety knowledge의 부재보다 activation failure일 수 있다

모델은 이미 harmful prompt를 인식하고 거부할 수 있는 safety knowledge를 가지고 있습니다.

그런데 jailbreak는 이 지식을 삭제하는 것이 아니라,

• safety neuron이 충분히 활성화되지 않게 하거나
• compliance direction이 우세하게 만들거나
• rejection pathway를 우회하게 만드는

현상일 수 있습니다.

SafeTuning이 up-projection activation pathway까지 함께 조정하는 이유도 여기에 있습니다.

---

17. 논문의 강점

17.1 해석과 개입을 연결함

단순히 neuron을 시각화하는 데 그치지 않고,

$\text{interpretation}\rightarrow\text{intervention}\rightarrow\text{defense}$

로 이어집니다.

특히 ActCali를 통해 safety neuron의 행동 제어 능력을 검증한 점이 강점입니다.

---

17.2 양방향 intervention

harmful prompt를 허용하게 만드는 것뿐 아니라, benign prompt를 거부하게 만드는 반대 intervention도 수행합니다.

이러한 bidirectional test는 단순 correlation보다 강한 검증입니다.

---

17.3 Safety–utility trade-off가 우수함

특히 Llama-2에서 SafeTuning은

• Random Search ASR: 69% → 1%
• AlpacaEval Win Rate: 58.6% → 60.0%

을 달성합니다.

기존 방어들이 safety를 높이는 대신 utility를 크게 손상시키는 것과 대조적입니다.

---

17.4 매우 적은 학습 비용

• 학습 데이터 300개
• safety neuron 일부만 fine-tuning
• 전체 실험 약 4 GPU-hours
• 4개의 RTX 3090 사용

으로 보고합니다.

또한 inference-time에는 별도 detector나 modified decoding이 필요하지 않습니다.

---

18. 논문의 한계와 비판적 평가

18.1 뉴런 식별식이 다소 휴리스틱함

중요도는

$c_l^i=a_l^i\lVert r_l^i\rVert$

로 정의되는데, 이는 실제 output loss나 refusal decision에 대한 attribution이 아닙니다.

보다 엄밀한 방법이라면 다음을 사용할 수 있습니다.

$\frac{\partial \mathcal L_{\text{safety}}}{\partial a_l^i}$

또는

$a_l^i\frac{\partial \mathcal L_{\text{safety}}}{\partial a_l^i}$

또는 activation patching / integrated gradients가 필요합니다.

현재 방법은 activation이 큰 뉴런을 safety-critical로 간주하므로, frequency나 norm에 편향될 수 있습니다.

---

18.2 $N_s-N_f$ 정의가 불명확함

“모든 harmful prompt에서 top-k인 뉴런”인지,

• union
• intersection
• frequency threshold
• corpus-average ranking

중 무엇인지 수식과 설명이 완전히 명확하지 않습니다.

문자 그대로 intersection을 사용하면 100개 prompt 모두에서 top-k에 드는 뉴런은 거의 없을 가능성이 큽니다.

실제 구현은 아마 corpus 평균 contribution이나 frequency 기반 선택일 가능성이 있지만, 논문에서 더 명확히 설명했어야 합니다.

---

18.3 Vocabulary projection 해석의 신뢰성

특정 direction을 unembedding matrix로 투영해 “Ban”, “Cannot”, “Answer”와 같은 token이 나온다고 해서, 그 뉴런이 그 개념을 명시적으로 저장한다고 단정하기는 어렵습니다.

Unembedding projection은

• 모델의 lexical geometry
• anisotropy
• token frequency
• embedding norm

의 영향을 받습니다.

따라서 vocabulary token은 뉴런 의미의 완전한 해석이라기보다 해당 vector와 가까운 lexical correlate로 보는 것이 적절합니다.

---

18.4 refusal style과 safety reasoning을 구분하지 못함

발견된 뉴런이 실제로

• harmfulness detection
• ethical reasoning
• refusal policy
• refusal 문체
• “cannot”, “sorry” 같은 lexical realization

중 무엇을 담당하는지 분리되어 있지 않습니다.

ActCali가 refusal 여부를 강하게 바꾼다는 사실은 분명하지만, 이것이 깊은 안전 판단을 바꾼 것인지, 단순히 최종 refusal style generator를 조작한 것인지는 불분명합니다.

이를 검증하려면 다음이 필요합니다.

• harmfulness classification probe
• latent safety score
• refusal prefix를 제거한 semantic evaluation
• answer content와 surface refusal marker 분리
• chain-of-thought 없이 internal harmfulness representation 분석

---

18.5 평가가 refusal keyword에 크게 의존함

ASR 판정은 생성 초반 32 token 내 refusal keyword에 의존합니다.

따라서 다음 오류가 가능합니다.

• “I cannot…” 이후 유해 정보를 제공
• 안전한 대안 설명을 하지만 refusal keyword가 없음
• 정상적인 경고문을 harmful response로 오판
• 거부하지 않지만 실제 정보도 제공하지 않는 답변

Harmfulness Score를 별도 LLM judge로 보완하지만, ASR의 주 판정 기준은 다소 약합니다.

HarmBench classifier나 StrongReject evaluator 같은 보다 표준화된 evaluator를 추가했으면 더 설득력이 높았을 것입니다.

---

18.6 모델 범위가 좁음

실험 모델은

• Llama-2-7B-chat
• Vicuna-7B-v1.5

두 개뿐이며, 둘 다 Llama 계열의 유사한 architecture를 사용합니다.

따라서 결과가

• Qwen
• Gemma
• Mistral
• Llama-3
• gated MLP의 다른 형태
• MoE 모델

에서도 재현되는지 알 수 없습니다.

특히 Vicuna와 Llama-2의 유사한 vocabulary pattern이 base architecture에서 비롯되었다는 저자 해석도, 서로 독립적인 architecture로 검증해야 합니다.

---

18.7 adaptive attack 평가가 부족함

SafeTuning 이후 공격 알고리즘을 다시 최적화하는 완전한 adaptive white-box setting이 명확하지 않습니다.

특히 GCG의 경우 방어된 모델의 gradient를 사용해 suffix를 새로 최적화해야 강한 adaptive evaluation이 됩니다.

논문에서는 일부 attack prompt가 transfer되었다고 설명하므로, SafeTuning에 직접 적응된 공격이 아닐 가능성이 있습니다.

따라서 낮은 ASR이 genuine robustness인지, 기존 공격 prompt에 대한 robustness인지 구분이 필요합니다.

---

18.8 통계적 불확실성이 없음

대부분의 결과가 100개 prompt에 대한 point estimate만 제시됩니다.

예를 들어 ASR 1%와 5%의 차이가 통계적으로 유의한지 판단하려면

• bootstrap confidence interval
• paired McNemar test
• paired bootstrap
• 여러 random seed

가 필요합니다.

fine-tuning 결과도 단일 seed로 보이며 분산이 보고되지 않습니다.

---

19. 기존 연구와의 관계

Knowledge Neurons

Dai et al. 계열은 MLP 뉴런이 factual knowledge와 연결된다고 봅니다.

이 논문은 이를 safety behavior에 확장합니다.

차이는 단일 사실 triple 대신

$\text{harmful vs benign behavior}$

라는 behavioral concept를 대상으로 한다는 점입니다.

---

Representation Engineering / CAA

RepE나 CAA는 보통 hidden state mean difference를 사용합니다.

$v=\mathbb E[h\mid C^+]-\mathbb E[h\mid C^-]$

이 논문도 본질적으로는 같은 contrastive direction을 사용하지만,

$p=\sum_{i\in N_r}a_i r_i$

처럼 safety neuron contribution만 사용합니다.

따라서 다음과 같이 볼 수 있습니다.

ActCali는 neuron-restricted contrastive activation addition이다.

---

Safety-Specific Neurons

Zhao et al.의 safety-specific neuron 연구와 상당히 유사합니다.

차별점은 이 논문이

• vocabulary-space interpretation
• bidirectional ActCali
• self-generated refusal corpus
• safety-neuron-specific tuning

을 하나의 pipeline으로 통합했다는 데 있습니다.

---

Circuit 관점

이 논문은 뉴런 집합을 찾지만, attention head나 MLP 간 연결 edge를 찾지는 않습니다.

따라서 strict한 의미의 circuit discovery는 아닙니다.

현재 논문은

$\text{safety neuron nodes}$

를 찾는 수준이고, 실제 circuit을 구성하려면 다음이 추가되어야 합니다.

$\text{input tokens}\rightarrow\text{attention heads}\rightarrow\text{MLP safety neurons}\rightarrow\text{unembedding/refusal logits}$

EAP, EAP-IG 또는 attribution graph를 적용하면 safety-neuron으로 들어오는 upstream causal pathway를 더 정밀하게 찾을 수 있습니다.

---

20. 연구적으로 가장 중요한 해석

이 논문에서 가장 흥미로운 결론은 다음입니다.

LLM의 safety alignment는 거대한 모델 전체에 균일하게 분포된 견고한 기능이라기보다, 일부 희소한 MLP 방향에 과도하게 의존할 수 있다.

이는 양면적입니다.

긍정적 측면

• 적은 파라미터만 fine-tuning해도 안전성을 강화할 수 있음
• utility를 보존하기 쉬움
• 효율적인 safety editing 가능

부정적 측면

• 동일한 subspace를 반대로 조작하면 쉽게 jailbreak 가능
• safety alignment가 brittle할 수 있음
• 공격자가 white-box access를 가지면 alignment를 쉽게 무력화할 수 있음

즉, SafeTuning의 성공은 동시에 현재 alignment의 취약성을 드러냅니다.

---

21. 핵심 요약

이 논문은 MLP의 각 intermediate neuron을

$a_i r_i$

형태의 knowledge contribution으로 보고, harmful prompt에서 중요하지만 benign prompt에서는 중요하지 않은 뉴런을

$N_r=N_s-N_f$

로 정의합니다.

이 뉴런들의 출력을 vocabulary space에 투영하면

• harmful prompt: refusal/rejection 관련 token
• benign prompt: answer/compliance 관련 token

이 나타납니다.

두 평균 representation의 차이로

$d_c=p^B-p^H,\qquad d_r=p^H-p^B$

를 만들고, inference 중 이를 주입하는 ActCali를 통해 평균 97.75% ASR로 모델의 refusal/compliance 행동을 반전시킵니다.

이후 harmful prompt에 대해 ActCali가 생성한 refusal response 300개로 safety neuron의 up/down projection만 fine-tuning하는 SafeTuning을 제안합니다.

SafeTuning은 특히 다음 결과를 보입니다.

• Vicuna Random Search ASR: 95% → 13%
• Llama-2 Random Search ASR: 69% → 1%
• Llama-2 AlpacaEval Win Rate: 58.6% → 60.0%
• inference-time 추가 연산 없음

다만 뉴런 식별이 휴리스틱하고, refusal style과 진정한 safety reasoning의 구분이 부족하며, 모델·공격·평가 범위가 제한적이라는 한계가 있습니다. 따라서 가장 적절한 평가는 다음과 같습니다.

Safety 관련 희소 MLP subspace의 존재와 행동 제어 가능성을 설득력 있게 보여주지만, 개별 뉴런 수준의 엄밀한 causal localization이나 일반적인 jailbreak 메커니즘을 완전히 규명한 것은 아니다.