다음 논문은 **mechanistic interpretability (특히 circuits 분석)**에서 매우 중요한 문제를 짚는 연구입니다:

“Have Faith in Faithfulness: Going Beyond Circuit Overlap When Finding Model Mechanisms” (COLM 2024)

1. 핵심 문제의식 (Why this paper matters)

기존 circuit 연구의 암묵적 가정:

“찾은 circuit이 ground-truth circuit과 **overlap이 크면 → 잘 찾은 것”

하지만 이 논문은 이를 정면으로 반박합니다:

핵심 주장

Overlap ≠ Faithfulness
진짜 중요한 것은: faithfulness (충실도) = circuit만 남기고 나머지 다 제거해도 원래 모델 행동 유지되는가

즉,

overlap은 “구조적 유사성”
faithfulness는 “기능적 동일성”

→ interpretability에서는 후자가 본질적

2. Circuits Framework 재정의 (정확한 formalization)

논문이 굉장히 깔끔하게 정의합니다.

(1) Circuit 정의

Transformer를 directed graph로 보고
node = attention head / MLP
edge = activation flow

→ circuit = input → output을 연결하는 부분 그래프

(2) Task 설정

각 task는:

clean input s
corrupted input s’
metric M(x)

예:

IOI: logit(Mary) − logit(John)
SVA: p(are) − p(is)

(3) Faithfulness 정의 (핵심)

논문의 가장 중요한 정의:

circuit 밖 edge들을 전부 corrupted activation으로 교체해도

output이 유지되면 → faithful

수식적으로:

$\sum_{e=(u,v)} i_e z_u + (1 – i_e) z’_u$

$i_e = 1$ : circuit edge → clean
$i_e = 0$ : non-circuit → corrupted

이게 Figure 2 (page 3)의 핵심 실험

3. 기존 방법: EAP (Edge Attribution Patching)

문제

activation patching:

정확하지만
edge 수가 너무 많아 비효율적

→ GPT-2 small도 edge ≈ 32k

EAP 아이디어

gradient 기반 근사:

$(z’_u – z_u)^T \nabla_v L$

edge 중요도 ≈ loss 변화량

장점:

2 forward + 1 backward → 전체 edge 평가 가능

하지만 문제

EAP는:

gradient saturation 문제 (zero gradient)

즉,

중요한 edge라도 gradient가 0이면 중요도 0으로 판단

→ circuit 잘못 찾음

4. 제안 방법: EAP-IG

핵심 아이디어

Integrated Gradients 적용

기존 문제

gradient at single point (clean input)

→ flat region에서 정보 loss

해결

baseline z’ → input z까지 path integral

$(z’_u – z_u) \cdot \frac{1}{m} \sum_{k=1}^{m} \nabla L(z’ + \frac{k}{m}(z – z’))$

직관:

한 점 gradient 대신
경로 전체에서 gradient 평균

결과

zero gradient 문제 해결
더 안정적인 attribution

5. 실험 설계 (굉장히 잘 짜여 있음)

Tasks (6개)

IOI
Gender bias
Greater-than
Capital-country
SVA
Hypernymy

평가 방식

circuit size: 30 ~ 2000 edges
metric: normalized faithfulness

$\frac{m – b’}{b – b’}$

b: clean baseline
b’: corrupted baseline

6. 핵심 결과

(1) EAP vs EAP-IG

거의 모든 task에서:

EAP-IG ≥ EAP (faithfulness 기준)

특히:

SVA:
- EAP → 거의 실패 (circuit 붕괴)
- EAP-IG → 정상 동작
Hypernymy:
- EAP → 0.5 수준
- EAP-IG → 거의 1.0

(2) 중요한 insight

correlation 분석

EAP-IG:
- activation patching과 correlation 높음 (>0.8)
하지만:
- 전체 ranking accuracy는 크게 차이 없음

왜 좋아지냐?

→ top-k 중요한 edge만 더 잘 맞춤

7. 가장 중요한 결과: Overlap vs Faithfulness

실험

task 간 circuit overlap vs cross-task faithfulness 비교

결과

✔ strong correlation

Pearson r:
- node overlap vs faithfulness: 0.86
- edge overlap vs faithfulness: 0.83

하지만 critical insight

중간 overlap 영역에서는 예측 불가능

예:

동일 overlap (0.6)
- 한 경우: faithfulness 0.6
- 다른 경우: 0.2

결론

overlap은 faithfulness의 reliable proxy가 아님

8. 논문의 핵심 기여 정리

Contribution 1

EAP-IG 제안
- IG 기반 edge attribution

Contribution 2

Faithfulness 중심 평가 프레임워크
- overlap 대신 실제 functional metric

Contribution 3

Overlap ≠ Faithfulness 실증
- interpretability 평가 기준 재정립

9. 한 줄 요약

이 논문은 **“circuit overlap 중심 해석은 위험하며, 진짜 중요한 것은 faithfulness”**라는 점을 보이고, 이를 위해 EAP-IG라는 더 정확한 circuit discovery 방법을 제안한다.

다음은 이 논문의 **방법론(Methodology)**을 수식 중심 + 설계 관점으로 정리한 것입니다.

1. Problem Formulation: Edge-level Circuit Discovery

목표

Transformer의 computational graph에서

**task-relevant subgraph (circuit)**를 찾는 것

Graph G = (V, E)
edge $e = (u \to v)$

각 edge에 대해:

“이 edge를 제거하면 task 성능이 얼마나 변하는가?”

2. Edge Importance Estimation Framework

2.1 Ground Truth: Activation Patching

각 edge e에 대해:

$\Delta M_e = M(s; e \leftarrow z’_u) – M(s)$

clean activation $z_u$
corrupted activation $z’_u$

정확하지만:

O(|E|) forward pass 필요 → 비효율

2.2 Approximation: EAP

EAP는 loss L = -M 기준으로:

$\Delta L_e \approx (z’_u – z_u)^T \nabla_v L(s)$

특징

single-point gradient
linear approximation

한계

local gradient only
saturation region에서 실패

3. Proposed Method: EAP-IG

3.1 핵심 아이디어

EAP를 다음과 같이 재해석:

EAP ≈ “gradient × input difference” attribution

→ 이를 **Integrated Gradients (IG)**로 확장

3.2 Path-based Attribution

baseline z’ → input z 사이 interpolation:

$z^{(\alpha)} = z’ + \alpha (z – z’)$

3.3 Edge Score 정의

최종 EAP-IG score:

$\Delta L_e \approx (z’_u – z_u) \cdot \frac{1}{m} \sum_{k=1}^{m} \nabla_v L\big(z^{(k/m)}\big)$

구현적 의미

m개의 interpolated forward
각 step에서 gradient 계산
평균 gradient 사용

3.4 중요한 설계 선택

(1) interpolation space

embedding space에서 수행
string space 불가능 (continuous 필요)

(2) loss function

두 가지 지원:

task-specific: L = -M(x)
distribution-level: $L = \mathrm{KL}(p_{\text{clean}} || p_{\text{patched}})$

KL 사용 가능해진 이유:

interpolation에서는 gradient ≠ 0

(3) computational cost

이론: O(m)
실제: m=5로 충분 (논문 설정)

4. Circuit Construction Algorithm

4.1 Edge Selection

각 edge score 계산 후:

greedy selection (논문 선택)
또는 top-k selection

4.2 Greedy Circuit Growing

절차:

edge score 계산
score 기준 정렬
작은 edge set부터 시작
faithfulness 조건 만족할 때까지 확장

4.3 Pruning

다음 제거:

parent 없는 node
child 없는 node

이유:

circuit connectivity 유지

5. Faithfulness Evaluation Procedure

5.1 Intervention

각 node v 입력:

$\sum_{e=(u,v)} i_e z_u + (1 – i_e) z’_u$

5.2 Metric Normalization

$\text{Faithfulness} = \frac{m – b’}{b – b’}$

m: circuit 성능
b: clean baseline
b’: corrupted baseline

6. Analysis Methodology (핵심)

6.1 Attribution Quality 분석

Pearson correlation: $\text{corr}(EAP, AP), \quad \text{corr}(EAP-IG, AP)$
Kendall ranking correlation

6.2 Top-k Overlap 분석

$\text{Overlap@k} = \frac{|Top_k^{method} \cap Top_k^{AP}|}{k}$

중요 insight:

전체 ranking보다
top-k alignment가 중요

6.3 Cross-task Generalization

두 circuit $C_1, C_2$ :

overlap (IoU)
cross-task faithfulness:

$C_1 \rightarrow \text{task of } C_2$

7. Methodological Insight (핵심 요약)

이 논문의 방법론적 핵심은 다음 3가지입니다:

(1) Edge Attribution Reformulation

$\text{Circuit discovery} \approx \text{attribution problem}$

→ input attribution 기법(IG)을 그대로 확장

(2) Local → Path-based Gradient

EAP: point estimate
EAP-IG: path integral

–> saturation 문제 해결

(3) Evaluation Paradigm Shift

기존: overlap 중심
본 논문: faithfulness 중심

8. 한 줄 요약 (방법론)

EAP-IG는 기존 EAP를 Integrated Gradients 기반 path attribution으로 확장하여, edge importance를 더 정확히 추정하고, 이를 통해 faithful circuit을 효율적으로 추출하는 방법이다.

다음은 논문의 **실험 결과(Experiments & Findings)**를 정리한 것입니다. (수치/그래프 해석 중심)

1. 전체 결과 요약

EAP-IG는 대부분의 태스크에서 EAP보다 더 높은 faithfulness를 달성

하지만 **activation patching (ground truth)**에는 여전히 못 미치는 경우 존재

2. Task별 결과 분석

논문 Figure 3 기준 (page 6)

2.1 IOI (Indirect Object Identification)

결과

activation patching: ~0.8 이상 빠르게 도달
EAP / EAP-IG: ~0.6에서 plateau

해석

gradient 기반 방법의 근본적 한계 존재
특히 logit-based metric에서 approximation error 큼

2.2 Gender Bias

결과

모든 방법이 0.8 이상 faithfulness
EAP vs EAP-IG 차이는 작음

해석

task 구조가 단순 → attribution 난이도 낮음

2.3 Greater-Than

결과

EAP-IG > EAP (약 +0.1 차이)
activation patching과 거의 유사 수준

해석

numerical reasoning task에서는 IG가 gradient saturation 문제를 효과적으로 해결

2.4 Capital–Country

결과

EAP-IG가 EAP보다 ≥0.2 높은 faithfulness
activation patching과 비슷한 수준 도달

해석

retrieval-type task에서 EAP의 gradient error가 큼
IG가 중요한 edge를 더 잘 포착

2.5 SVA (Subject-Verb Agreement)

가장 중요한 케이스

결과

EAP:
- n ≤ 1000까지 거의 0에 가까운 faithfulness
- circuit이 사실상 붕괴
EAP-IG:
- 정상적으로 증가 → high faithfulness

원인

EAP가 critical edge를 놓침
- 특히:
  - input → MLP0 edge

추가 관찰

EAP는 많은 edge가 pruning됨
- parent 없는 node → 제거

–> 구조적으로 잘못된 circuit 생성

2.6 Hypernymy

결과

EAP:
- ~0.5 수준에서 정체
EAP-IG-KL:
- 거의 1.0 (완전 faithful)

하지만 중요한 caveat

activation patching보다 더 높은 성능

해석

EAP-IG-KL이:
- 일부 negative contribution edge를 놓쳤을 가능성

–> faithfulness vs completeness trade-off

3. 핵심 정량 결과 요약

Task	EAP vs EAP-IG
IOI	둘 다 낮음
Gender Bias	비슷
Greater-Than	EAP-IG 우세
Capital-Country	EAP-IG 크게 우세
SVA	EAP 실패, EAP-IG 성공
Hypernymy	EAP-IG 매우 우세

4. 왜 EAP-IG가 더 잘 작동하는가?

4.1 Correlation 분석

결과

EAP-IG vs activation patching:
- Pearson r > 0.8
EAP:
- 항상 더 낮음

4.2 Ranking 분석

surprising 결과

Kendall rank correlation:
- EAP > EAP-IG

–> 전체 ranking은 EAP가 더 비슷

4.3 Top-k Overlap 분석 (핵심)

결과

k ≤ 50:
- EAP-IG가 더 높은 overlap
k 전체:
- 큰 차이 없음

핵심 insight

전체 ranking accuracy보다

“top-k 중요한 edge 정확도”가 중요

→ 이것이 faithfulness 차이를 만든다

5. Cross-task 실험 (Figure 5)

5.1 Overlap vs Faithfulness

결과

strong correlation:
- node overlap vs faithfulness: 0.86
- edge overlap vs faithfulness: 0.83

5.2 하지만 중요한 반례

동일 overlap (≈0.6)

case A:
- faithfulness ≈ 0.6
case B:
- faithfulness ≈ 0.2

결론

overlap은 faithfulness를 안정적으로 예측하지 못함

5.3 비대칭성 (asymmetry)

예:

Hypernymy → Capital-Country: 높음
Capital-Country → Hypernymy: 낮음

이유

circuit size 차이
큰 circuit → 다양한 task 커버 가능

6. 핵심 실험적 결론

(1) EAP의 구조적 실패

gradient saturation
critical edge miss
pruning collapse

(2) EAP-IG의 개선

top-k edge selection 개선
안정적인 circuit 구성
다양한 task에서 robust

(3) Overlap의 한계

high overlap ≠ high faithfulness
특히 중간 영역에서 붕괴

(4) Faithfulness 중심 평가 필요

overlap 기반 평가 → misleading 가능

7. 매우 중요한 takeaway (연구 관점)

이 결과는 다음을 의미합니다:

✔ Circuit discovery의 핵심은

“정확한 edge ranking”이 아니라

“critical edge를 놓치지 않는 것”

✔ EAP-IG가 중요한 이유

gradient 기반 방법을 실제로 usable하게 만듦
특히:
- reasoning
- retrieval
- syntax task

8. 한 줄 요약

실험 결과는 EAP-IG가 EAP보다 더 faithful한 circuit을 안정적으로 찾으며, 특히 top-k 중요한 edge를 정확히 포착하는 것이 핵심임을 보여준다.

** Have Faith in Faithfulness: Going Beyond Circuit Overlap When Finding Model Mechanisms (COLM 2024)