dojself04

* ERASER: A Benchmark to Evaluate Rationalized NLP Models (ACL 2020)

https://www.dropbox.com/scl/fi/k3talej8kpav2wo35wgze/acl20_ERASER_NLP_Interpretability_Benchmark.pdf?rlkey=9an8act367vqsiv5x9ufn6cw0&dl=0

1. 논문 개요

ERASER는 NLP 모델의 rationale, 즉 “모델 예측을 뒷받침하는 입력 근거 구간”을 평가하기 위한 ACL 2020 벤치마크 논문입니다. 핵심 문제의식은 기존 해석가능성 연구들이 서로 다른 데이터셋과 지표를 사용해, 모델 간 비교와 발전 추적이 어렵다는 점입니다. 이 논문은 7개 데이터셋을 통합하고, human rationale과 모델 rationale을 비교하는 표준 평가 지표를 제안합니다.

2. ERASER 데이터셋 구성

논문은 다음 7개 데이터셋을 ERASER 형식으로 정리합니다.

데이터셋태스크평균 토큰 수특징
Evidence Inference임상논문 기반 효과 판정4761매우 긴 문서
BoolQYes/No QA3583긴 Wikipedia passage
Movie Reviews감성분석774span-level rationale
FEVERfact verification327claim 근거 문장
MultiRCmulti-sentence QA303여러 문장 근거
CoS-Ecommonsense QA28짧은 선택형 QA
e-SNLINLI16premise/hypothesis 근거 토큰

중요한 점은 데이터셋마다 문서 길이와 rationale granularity가 매우 다르다는 것입니다. 긴 문서에서는 sentence-level evidence가 중요하고, e-SNLI나 CoS-E처럼 짧은 입력에서는 token/span-level rationale이 중요합니다. 이 차이가 실험 결과에서도 매우 크게 작용합니다.  

3. 평가 지표

논문은 rationale 평가를 크게 두 축으로 나눕니다.

3.1 Human rationale과의 일치성

모델이 선택한 rationale이 사람이 표시한 rationale과 얼마나 겹치는지를 평가합니다.

Discrete rationale의 경우:

IOU=|Rpred∩Rgold||Rpred∪Rgold|IOU = \frac{|R_{pred} \cap R_{gold}|}{|R_{pred} \cup R_{gold}|}

IOU가 0.5 이상이면 match로 보고, 이를 기반으로 IOU F1을 계산합니다.

또한 token 단위로:

Precision=|Rpred∩Rgold||Rpred|Precision = \frac{|R_{pred} \cap R_{gold}|}{|R_{pred}|}

Recall=|Rpred∩Rgold||Rgold|Recall = \frac{|R_{pred} \cap R_{gold}|}{|R_{gold}|}

Token F1=2PRP+RToken\ F1 = \frac{2PR}{P+R}

을 계산합니다.

Soft rationale, 즉 attention score, gradient score, LIME score처럼 토큰별 중요도 점수를 주는 경우에는 AUPRC를 사용합니다.

3.2 Faithfulness 평가

사람이 보기에 그럴듯한 rationale이더라도, 실제 모델이 그 rationale을 사용해 예측했는지는 별개의 문제입니다. 논문은 이를 평가하기 위해 두 지표를 제안합니다.

Comprehensiveness

예측 근거라고 주장한 rationale을 입력에서 제거했을 때, 모델의 원래 예측 확률이 얼마나 감소하는지 봅니다.

Comprehensiveness=m(xi)j−m(xi/ri)j\text{Comprehensiveness}=m(x_i)_j – m(x_i / r_i)_j

여기서 x_i는 원래 입력, r_i는 rationale, j는 모델이 예측한 클래스입니다.

값이 클수록 rationale 제거가 모델 예측에 큰 영향을 주었다는 뜻이므로, rationale이 더 faithful하다고 볼 수 있습니다.

Sufficiency

rationale만 입력으로 주었을 때도 원래 예측을 유지할 수 있는지 봅니다.

Sufficiency=m(xi)j−m(ri)j\text{Sufficiency}=m(x_i)_j – m(r_i)_j

값이 낮을수록 좋습니다. rationale만으로도 원래 예측 확률이 유지된다는 뜻이기 때문입니다.

4. 실험 모델

논문은 baseline을 크게 두 종류로 나눕니다.

4.1 Hard selection 모델

Hard selection 모델은 실제로 입력 일부만 선택해서 classifier에 넘깁니다. 따라서 구조적으로 rationale이 prediction에 사용되므로 상대적으로 faithful하다고 간주합니다.

Lei et al. (2016) rationalizing model

구조는 다음과 같습니다.

x→encoder→zx \rightarrow encoder \rightarrow z

x⊙z→decoder→y^x \odot z \rightarrow decoder \rightarrow \hat{y}

encoder는 각 토큰을 선택할지 말지 binary mask z를 생성하고, decoder는 선택된 토큰만 보고 예측합니다. 원래는 REINFORCE로 학습하지만, ERASER에서는 human rationale supervision을 추가한 버전도 실험합니다.

Pipeline model

두 단계로 나뉩니다.

  1. rationale extractor 학습
  2. 선택된 rationale만 입력으로 classifier 학습

논문에서는 GRU 기반 pipeline과 BERT-to-BERT pipeline을 사용합니다.

4.2 Soft selection 모델

Soft selection 모델은 입력 전체를 사용해 예측하면서, 별도로 토큰 중요도 점수를 계산합니다.

사용한 scoring 방법은 다음과 같습니다.

방법설명
Attentionattention weight를 중요도로 사용
Gradient출력에 대한 입력 gradient 기반 중요도
LIMEperturbation 기반 local explanation
Random무작위 baseline

모델 구조는 주로 BERT + BiLSTM + additive attention입니다. 다만 Evidence Inference와 BoolQ는 문서가 너무 길어 BERT 적용이 어려워 GloVe + LSTM을 사용합니다.  

5. 실험 결과: Hard rationale selection

대표 결과는 다음과 같습니다.

데이터셋최고 성능 모델성능IOU F1Token F1
Evidence InferenceBERT-to-BERT0.7080.4550.468
BoolQBERT-to-BERT0.5440.0520.134
Movie ReviewsLei et al.0.914~0.920낮음0.285~0.322
FEVERBERT-to-BERT0.8770.8350.812
MultiRCLei et al.0.6550.2710.456
CoS-ELei et al.0.4770.2550.331
e-SNLILei et al.0.9170.6930.692

핵심 해석은 다음과 같습니다.

BERT-to-BERT는 FEVER에서 매우 강함
FEVER는 근거 문장이 비교적 명확한 fact verification 태스크라 sentence-level rationale extraction이 잘 맞습니다. 그래서 IOU F1 0.835, Token F1 0.812로 가장 높은 rationale 일치도를 보입니다.

BoolQ와 Evidence Inference는 어려움
두 데이터셋은 평균 입력 길이가 각각 3583, 4761 토큰으로 매우 깁니다. 긴 문서에서 정확한 rationale을 찾는 것은 어렵고, 특히 BoolQ에서는 BERT-to-BERT도 IOU F1 0.052에 그칩니다.

Lei et al. 모델은 짧은 입력에서 강함
e-SNLI, CoS-E처럼 짧은 입력에서는 token-level 선택이 가능한 Lei et al. 방식이 강합니다. e-SNLI에서는 성능 0.917, Token F1 0.692로 좋은 결과를 냅니다.

rationale supervision이 항상 task 성능을 높이지는 않음
human rationale supervision은 rationale agreement를 높이는 경우가 있지만, predictive performance와 강하게 상관되지는 않습니다. 즉, “근거를 사람처럼 선택하는 것”과 “정답을 맞히는 것”은 별도 문제입니다.

6. 실험 결과: Soft rationale scoring

Soft scoring 모델에서는 AUPRC, comprehensiveness, sufficiency를 비교합니다.

주요 결과는 다음과 같습니다.

데이터셋Attention AUPRCGradient AUPRCLIME AUPRC주요 해석
Evidence Inference0.5060.0160.014attention은 human rationale과 겹치지만 faithfulness 약함
BoolQ0.5250.0720.073attention AUPRC 높음
Movies0.4170.3850.280gradient/LIME faithfulness 양호
FEVER0.2350.2320.291LIME이 faithfulness 강함
MultiRC0.2440.2240.208LIME comprehensiveness 높음
CoS-E0.6060.5850.544모두 AUPRC 높음
e-SNLI0.3950.4160.513LIME AUPRC와 comprehensiveness 가장 높음

핵심 결론은 다음입니다.

Attention은 plausible하지만 faithful하지 않을 수 있음
Attention은 AUPRC가 높은 경우가 많습니다. 즉, 사람이 표시한 rationale과 잘 겹칩니다. 하지만 comprehensiveness 측면에서는 gradient나 LIME보다 약한 경우가 많습니다. 이는 “attention is not explanation” 계열의 기존 연구와 일치합니다.

Gradient와 LIME은 더 faithful한 경향
논문은 gradient와 LIME이 attention보다 comprehensiveness가 높다고 보고합니다. 특히 LIME은 여러 태스크에서 rationale 제거 시 모델 confidence를 크게 떨어뜨려, 더 faithful한 설명을 제공하는 경향을 보입니다.

Random baseline과의 비교가 중요함
일부 데이터셋에서는 random rationale도 sufficiency/comprehensiveness가 비슷하게 나옵니다. 이는 해당 모델 자체가 입력 근거를 잘 정렬하지 못하거나, 태스크 성능이 낮아 rationale faithfulness 평가가 불안정할 수 있음을 의미합니다.

7. 논문의 핵심 기여

이 논문의 기여는 크게 세 가지입니다.

  1. rationale 기반 NLP 해석가능성 평가를 위한 표준 벤치마크 제안
  2. human rationale agreement와 faithfulness를 분리한 평가 체계 제안
  3. 다양한 입력 길이와 rationale granularity를 갖는 7개 태스크에서 baseline 결과 제공

특히 중요한 점은, 논문이 단순히 “사람이 보기 좋은 설명”이 아니라 모델이 실제로 사용한 설명인지를 평가해야 한다고 강조한다는 것입니다.

8. 한계와 비판적 해석

가장 큰 한계는 faithfulness 지표가 여전히 근사적이라는 점입니다.

Comprehensiveness와 sufficiency는 rationale을 제거하거나 rationale만 남기는 방식인데, 이 과정에서 입력 분포가 바뀝니다. 예를 들어 문장에서 중요한 단어만 제거하면 문법적으로 비정상적인 입력이 되고, 모델 confidence 변화가 진짜 causal evidence 때문인지 distribution shift 때문인지 불분명할 수 있습니다.

또한 hard selection 모델을 “faithful by construction”으로 간주하지만, extractor가 왜 그런 rationale을 선택했는지까지 설명하지는 못합니다. decoder는 선택된 rationale만 사용하지만, extractor 자체의 선택 과정은 여전히 별도의 black-box일 수 있습니다.

LIME 설명

LIME (Local Interpretable Model-agnostic Explanations)는 2016년 Ribeiro et al.이 제안한 모델 불가지론(model-agnostic) 설명 기법입니다. 핵심 아이디어는 복잡한 모델을 직접 해석하는 대신, 특정 입력 주변(local neighborhood)에서 단순한 선형모델로 근사하여 어떤 feature가 예측에 가장 큰 영향을 미쳤는지 설명하는 것입니다.

ERASER 논문에서는 Gradient, Attention과 함께 Soft rationale 생성 방법 중 하나로 LIME을 사용하여 human rationale과의 일치성 및 faithfulness를 평가합니다.  

1. 기본 아이디어

예를 들어 영화 리뷰 분류 모델이 있다고 하겠습니다.

원문:

This movie was absolutely wonderful although a little slow.

모델 출력:

Positive (0.96)

우리는 궁금합니다.

왜 Positive라고 예측했는가?

LIME은 다음 절차를 수행합니다.

원본 문장
      │
      ▼
주변의 많은 변형 문장 생성
      │
      ▼
원래 모델에 모두 입력
      │
      ▼
각 변형의 출력 확률 수집
      │
      ▼
원본 근처에서 선형회귀 학습
      │
      ▼
선형회귀 계수 = 단어 중요도

즉, 복잡한 모델을 설명하지 말고, 그 주변에서 간단한 모델을 학습시켜 설명하자.

2. 수식

원래 모델 f(x)는 매우 복잡한 DNN이라고 합시다.

우리는 이를 직접 해석하지 않습니다.

대신 g(z)라는 선형모델을 학습합니다.

LIME의 최적화 문제는

arg⁡ming⁡L(f,g,πx)+Ω(g)\boxed{\arg\min_g L(f,g,\pi_x)+\Omega(g)}

입니다.

(1) Local fidelity

L(f,g,πx)L(f,g,\pi_x)는 원래 모델과 설명 모델의 차이를 의미합니다.

예를 들어

L=∑iπx(zi)(f(zi)−g(zi))2L=\sum_i\pi_x(z_i)(f(z_i)-g(z_i))^2

입니다.

여기서 ziz_i는 perturbation된 샘플입니다.

(2) Local weighting

πx(z)\pi_x(z)는 원본과 가까울수록 큰 값을 줍니다.

예를 들어

πx(z)=exp⁡(−D(x,z)2σ2)\pi_x(z)=\exp\left(-\frac{D(x,z)^2}{\sigma^2}\right)

입니다.

즉, 원본과 가까운 perturbation만 중요합니다.

(3) Simplicity penalty

Ω(g)\Omega(g)는 설명모델이 너무 복잡해지는 것을 막습니다.

보통

  • L1 penalty
  • feature 개수 제한

등을 사용합니다.

3. NLP에서의 Perturbation

텍스트에서는 이미지처럼 픽셀을 바꿀 수 없습니다.

대신 단어를 제거합니다.

예를 들어,

원문:

This movie was absolutely wonderful.

Perturbation:

movie was absolutely wonderful
This movie absolutely wonderful
This was wonderful
This movie was
...

처럼 랜덤하게 단어를 제거합니다.

Binary representation

LIME은 보통 “This movie was absolutely wonderful”를 [1 1 1 1 1]으로 표현합니다.

Perturbation은

[1 0 1 1 1]

[1 1 0 1 0]

[0 1 1 1 0]

처럼 생성됩니다.

각 binary vector마다 원래 classifier를 실행합니다.

4. 예시

예를 들어,

This movie was absolutely wonderful.

에서

1000개의 perturbation을 만들었다고 합시다.

samplewonderfulmovieprobability
11111110.97
11110010.42
10111100.95
11011110.96
01010010.35

이를 이용하여

선형회귀

g(x)=β0+β1x1+⋯+βdxdg(x)=\beta_0+\beta_1x_1+\cdots+\beta_dx_d

를 학습합니다.

예를 들어

wordcoefficient
wonderful+2.6
absolutely+0.7
movie+0.1
was0
This0

가 됩니다.

즉, “wonderful”이 가장 중요한 rationale입니다.

5. 알고리즘

Input x
↓
Generate N perturbations
↓
Run original model
↓
Collect prediction probabilities
↓
Compute similarity weights
↓
Weighted Linear Regression
↓
Feature importance

6. 시간복잡도

LIME의 가장 큰 단점입니다.

예를 들어, 문장이 30단어라면 보통 1000~5000 perturbation을 생성합니다.

각 perturbation마다 LLM을 실행해야 합니다.

따라서 O(N)번의 forward가 필요합니다.

예를 들어,

3000 perturbations
↓
3000번 inference

가 필요합니다.

LLM에서는 매우 느립니다.

7. ERASER에서 LIME

ERASER에서는

BERT
↓
LIME
↓
importance score

를 얻습니다.

이 score를 이용하여, 상위 k개의 token을 rationale로 선택합니다.

여기서 k=평균 human rationale 길이k=\text{평균 human rationale 길이}입니다.

그 후, Comprehensiveness, Sufficiency를 계산합니다.  

8. 왜 LIME이 Faithful한가?

Attention은 attention weight를 그대로 explanation으로 사용합니다.

하지만 attention은 실제 prediction에 얼마나 영향을 미쳤는지 보장하지 않습니다.

반면 LIME은

단어 제거
↓
모델 출력 변화
↓
선형근사

를 사용합니다.

즉, 모델 출력이 실제 얼마나 변하는지를 기반으로 중요도를 계산합니다.

그래서 ERASER에서도 Gradient나 Attention보다 LIME의 Comprehensiveness가 더 높은 경우가 많습니다. 이는 LIME이 실제 모델의 의사결정에 더 가까운 feature importance를 추정했음을 시사합니다.  

9. LIME의 한계

  1. 매우 느림
    • 수천 번의 모델 추론이 필요합니다.
  2. Perturbation이 비자연스러움
    • 단어를 삭제하면 문법이 깨질 수 있습니다.
    • 모델 출력 변화가 실제 의미 변화가 아니라 입력 분포 변화 때문일 수 있습니다.
  3. Sampling variance
    • 무작위 perturbation을 사용하므로 실행마다 설명이 달라질 수 있습니다.
  4. Local explanation만 제공
    • 특정 입력 주변에서는 잘 설명하지만, 모델의 전반적인 동작을 설명하지는 못합니다.

10. 최근 기계적 해석(Mechanistic Interpretability)과의 비교

SAE, Circuit Discovery, EAP 관점에서 보면 LIME은 입력(feature) 수준의 post-hoc explanation입니다. 반면 최근 기계적 해석 기법들은 **모델 내부의 원인(causal mechanism)**을 직접 분석합니다.

방법설명 대상모델 접근Causal 해석계산 비용
LIME입력 토큰Black-box부분적(출력 변화 기반)매우 높음 (다수 추론)
Gradient입력 토큰White-box국소적 민감도낮음
Attention입력 토큰White-box약함매우 낮음
SHAP입력 토큰Black-box비교적 강함(Shapley 근사)매우 높음
Activation Patching내부 activationWhite-box강함높음
EAP / EAP-IG내부 edgeWhite-box강함중간
SAE + Circuit내부 feature/circuitWhite-box매우 강함중간~높음

특히 최근의 Activation Patching, Edge Attribution Patching(EAP), SAE Feature Attribution은 모델 내부 표현을 직접 조작하여 인과 효과를 측정하므로, LIME보다 훨씬 직접적인 mechanistic explanation을 제공한다는 점에서 현재 LLM 해석 연구의 주류로 자리잡고 있습니다.

게시됨

카테고리

,

작성자

dojself04

태그:

, ,

댓글

답글 남기기

이메일 주소는 공개되지 않습니다. 필수 필드는 *로 표시됩니다