[태그:] Activation Patching

https://www.dropbox.com/scl/fi/xiiuoz1g9kmfqj3jpd6ii/iclr24_Activation_Patching_Best_Practices.pdf?rlkey=5zlon33m52g5iq5a00kkz5t3k&dl=0 이 논문은 activation patching(= causal tracing/interchange intervention)의 실험 설정(hyperparameter) 이 interpretability 결과를 얼마나 크게 바꾸는지를 체계적으로 분석한 논문입니다.   핵심 메시지는 다음과 같습니다. “Activation patching 자체보다도,어떤 corruption method를 쓰고 어떤 metric으로 측정하느냐가localization/circuit discovery 결과를 크게 바꾼다.” 즉, 기존 mechanistic interpretability 논문들의 결과가 설정에 민감할 수 있으며, activation patching에도 “best practice”가 필요하다는 주장입니다. 1. Activation…