[카테고리:] Dictionary Learning
-
* Unveiling Decision-Making in LLMs for Text Classification: Extraction of Influential and Interpretable Concepts with Sparse Autoencoders (Findings of EACL 2026)
https://www.dropbox.com/scl/fi/k3j815xwkwr0lo3z2jpyi/feacl26_Interpreting_LLM_Classification_Decisions.pdf?rlkey=64wt8eaxdzdk74w5klv4cr86a&dl=0 논문 개요 이 논문은 텍스트 분류 모델의 내부 표현에서 **분류 판단에 실제로 사용되는 문장 수준의 개념(concept)**을 추출하기 위해 ClassifSAE라는 지도학습형 Sparse Autoencoder를 제안한 논문입니다. EACL 2026 Findings에 게재되었습니다. 핵심 질문은 다음과 같습니다. 일반적인 SAE가 찾아낸 feature 중에서, 텍스트 분류 결정에 직접 관련되면서도 희소하고 의미적으로 일관된 feature를 어떻게 얻을 것인가? 기존 SAE는 원래 hidden state를…
-
AlignSAE: Concept-Aligned Sparse Autoencoders (ArXiv 2026)
https://www.dropbox.com/scl/fi/85qugzzkromfqz828fq38/arxiv25_The_AlignSAE_Control_Paradigm.pdf?rlkey=wfntedkpu0862gb92jb31lmyc&dl=0 논문 개요 이 논문은 기존 Sparse Autoencoder가 학습한 feature를 사후에 해석하는 데 그치지 않고, 사전에 정의한 ontology의 개념을 특정 SAE latent slot에 직접 정렬하여 이를 읽고 조작할 수 있는 인터페이스로 만드는 방법입니다. 핵심 발상은 다음과 같습니다. 일반 SAE 학습을 LLM의 pre-training에 대응시키고, 개념 supervision을 이용한 추가 학습을 LLM의 post-training에 대응시킨다. 먼저 일반 SAE처럼 비지도…
-
NMF, Semi-NMF, Sparse NMF, Dictionary learning
NMF 계열은 최근 Mechanistic Interpretability에서도 SAE(Sparse Autoencoder)의 대안 또는 보완 기법으로 많이 주목받고 있습니다. 특히 최근의 SNMF (Sparse NMF, Semi-NMF) 기반 Circuit Discovery 논문들이 나오면서 구분이 중요해졌습니다. 1. NMF (Non-negative Matrix Factorization) 기본 아이디어 주어진 데이터 행렬 X∈ℝn×dX \in \mathbb{R}^{n\times d} 를 두 개의 저차원 행렬로 분해한다. X≈WHX \approx WH 여기서 W∈ℝn×kW \in \mathbb{R}^{n\times k},…
-
Dictionary Learning Improves Patch-Free Circuit Discovery (ArXiv 2024)
https://www.dropbox.com/scl/fi/0eel4o3ae3qjkqt3micz5/arxiv24_Patch-Free_Neural_Circuit_Discovery.pdf?rlkey=xbhwhcwt7qunm28f86t0obv9o&dl=0 1. 논문 핵심 이 논문은 Sparse Dictionary Learning/SAE로 얻은 monosemantic feature들 사이의 circuit을 activation patching 없이 발견하는 방법을 제안한다. 대상 모델은 Othello-GPT, 즉 오델로 다음 합법 수 예측을 학습한 6-layer, hidden size 128의 작은 decoder-only Transformer이다. 핵심 주장은 다음이다: residual stream에 write하는 모든 module output, 즉 embedding, attention output, MLP output을 dictionary feature로 분해하면,…