[카테고리:] Critical Component Analysis
-
** When Attention Sink Emerges in Language Models: An Empirical View (ICLR 2025)
https://www.dropbox.com/scl/fi/77jzbfvnx6c1algovtd8z/iclr25_Attention_Sink_Anatomy.pdf?rlkey=2br6s5zfe1x8mj62v3q4eyi45&dl=0 이 논문은 Attention Sink가 왜 발생하는가?, 언제 발생하는가?, **무엇이 Attention Sink를 결정하는가?**를 체계적으로 분석한 최초의 empirical study이다. 기존 연구들이 “Attention Sink를 활용”하는 데 초점을 맞췄다면, 이 논문은 pretraining 과정에서 Attention Sink가 생성되는 메커니즘을 규명하는 것이 목표이다. 1. 논문의 핵심 질문 저자들은 다음 네 가지 질문을 던진다. 이를 위해 저자들은 등 다양한 autoregressive LM을 분석하였다.…
-
** Efficient Streaming Language Models with Attention Sinks (ICLR 2024)
https://www.dropbox.com/scl/fi/v1sl9gt0gjjchtq2z3d8l/iclr24_StreamingLLM_Unbound.pdf?rlkey=ekljkgijkqzzb2udnvcbnwbvc&dl=0 Efficient Streaming Language Models with Attention Sinks는 ICLR 2024에 발표된 논문으로, 장시간 대화나 지속적인 텍스트 스트림에서 LLM을 고정된 메모리와 안정적인 품질로 계속 실행하기 위한 StreamingLLM을 제안합니다. 핵심 발견은 Transformer가 의미적으로 중요하지 않은 초기 몇 개 토큰에 비정상적으로 큰 attention을 할당한다는 것이며, 저자들은 이를 attention sink라고 부릅니다. 논문의 핵심 아이디어는 매우 단순합니다. 최근 토큰만 남기는…
-
* Massive Activations in Large Language Models (COLM 2024)
https://www.dropbox.com/scl/fi/zglouvvur991wj0oxz3aw/arxiv24_Decoding_Massive_Activations.pdf?rlkey=r4ubxwtcm0z3y245uhjxzzq1m&dl=0 이 논문은 최근 LLM 해석 가능성(Mechanistic Interpretability) 연구 중에서도 상당히 독창적인 논문입니다. 기존 연구들이 attention head, MLP neuron, circuit 등을 분석했다면, 이 논문은 훨씬 근본적인 현상을 발견합니다. LLM 내부에는 다른 activation보다 수천~수만 배 큰 activation이 극히 소수 존재하며, 이들은 단순한 이상치(outlier)가 아니라 모델 전체가 사용하는 “고정 bias” 역할을 한다. 이 논문의 가장 중요한 기여는…
-
* The Super Weight in Large Language Models (ArXiv 2024)
https://www.dropbox.com/scl/fi/985p2nb0mpnb14r2poljy/arxiv24_The_Super_Weight.pdf?rlkey=c82g5zqj9dfsoa1xbvyw83byk&dl=0 기존 연구들이 “수십만 개의 outlier weight가 중요하다“는 수준까지 밝혀냈다면, 이 논문은 그보다 훨씬 극단적인 결과를 제시합니다. LLM에는 단 하나(single scalar)의 weight만 제거해도 모델 전체가 붕괴되는 경우가 존재한다. 저자들은 이 weight를 Super Weight (SW) 라고 부르며, 이것이 생성하는 activation을 Super Activation (SA) 라고 정의합니다. 또한 이 현상을 이용하여 quantization 성능까지 향상시키는 방법을 제안합니다. 1. 논문의…
-
* Why Do Some Inputs Break Low-Bit LLM Quantization? (EMNLP 2025)
https://www.dropbox.com/scl/fi/6oqk3o2q9ylkxa3h9kj7q/emnlp25_Quantization_Collapse_Anatomy.pdf?rlkey=u0ovw9997s2v5fqxldvcwx409&dl=0 논문 개요 **Ting-Yun Chang et al., “Why Do Some Inputs Break Low-Bit LLM Quantization?” (EMNLP 2025)**는 다음 질문을 다룹니다. 동일한 LLM과 동일한 양자화 비트 수를 사용해도, 왜 일부 입력에서는 양자화 오차가 유난히 크게 발생하는가? 기존 양자화 연구는 주로 모델 전체 평균 성능, 예를 들어 WikiText perplexity나 downstream accuracy를 개선하는 데 집중했습니다. 반면 이 논문은…
-
** A Single Layer to Explain Them All: Understanding Massive Activations in Large Language Models (ICML 2026)
https://www.dropbox.com/scl/fi/growzuf1g10n23ycuh1rn/icml26_Unmasking_the_ME_Layer.pdf?rlkey=zrdsdbrnkxtsjlycfcbklo82a&dl=0 논문 개요 A Single Layer to Explain Them All: Understanding Massive Activations in Large Language Models는 LLM의 중간 hidden state에서 특정 토큰의 activation norm이 다른 토큰보다 수백~수천 배 커지는 massive activation이 어디서, 어떻게 발생하는지를 분석한 논문입니다. 논문의 핵심 주장은 다음과 같습니다. Massive activation은 여러 층에 걸쳐 점진적으로 누적되는 것이 아니라, 모델마다 특정한 단 하나의…
-
** The Achilles’ Heel of LLMs: How Altering a Handful of Neurons Can Cripple Language Abilities (ICLR 2026)
https://www.dropbox.com/scl/fi/ghq9k5fbg9z6afwwac9t6/iclr26_The_Achilles_Heel_of_LLMs.pdf?rlkey=n3y4fj90q7eu1es2mmf83k06q&dl=0 아래 논문은 LLM 내부에 “극소수의 치명적 뉴런(critical neurons)”이 존재하며, 이 뉴런 몇 개를 0으로 마스킹하면 거대 모델도 언어 능력이 붕괴한다는 주장을 실험적으로 보이는 논문입니다. 1. 핵심 아이디어 논문의 질문은 다음입니다. LLM에도 인간 뇌처럼 핵심 기능을 좌우하는 소수의 critical neuron이 존재하는가? 저자들의 결론은 그렇다입니다. 특히 놀라운 주장은 다음입니다. 2. 문제 정의 모델 전체 뉴런 집합을…