[태그:] Activation Patching

이 논문은 activation patching(= causal tracing/interchange intervention)의 실험 설정(hyperparameter) 이 interpretability 결과를 얼마나 크게 바꾸는지를 체계적으로 분석한 논문입니다.   핵심 메시지는 다음과 같습니다. “Activation patching 자체보다도,어떤 corruption method를 쓰고 어떤 metric으로 측정하느냐가localization/circuit discovery 결과를 크게 바꾼다.” 즉, 기존 mechanistic interpretability 논문들의 결과가 설정에 민감할 수 있으며, activation patching에도 “best practice”가 필요하다는 주장입니다. 1. Activation Patching이란?…