LLM 논문에 관한 블로그입니다.
-
* Determinantal Point Process (DPP)
Determinantal Point Process (DPP) **Determinantal Point Process (DPP)**는 집합(Set)에서 다양성(Diversity) 을 고려하여 부분집합(subset)을 선택하기 위한 확률 모델이다. 직관적으로는: “품질이 좋은 항목들을 선택하되, 서로 비슷한 항목은 동시에 선택될 확률을 낮춘다.” 즉, Quality + Diversity를 동시에 고려하는 샘플링 기법이다. 1. 왜 필요한가? 예를 들어 문서 검색 결과가 다음과 같다고 하자. 문서 내용 D1 GPT 논문 D2 GPT-2…
-
Ontology Matching with Large Language Models and Prioritized Depth-First Search (ArXiv 2025)
https://www.dropbox.com/scl/fi/0wqqjdl82uu0gamds2c77/arxiv25_MILA_Efficient_LLM_Ontology_Matching.pdf?rlkey=tmejev87lqlhn031t4k4cuspl&dl=0 이 논문의 핵심은 단순히 LLM을 Ontology Matching(OM)에 적용한 것이 아니라, “LLM 호출을 최소화하면서도 정확도(F1)를 높이기 위해 PDFS(Prioritized Depth-First Search) 기반 Retrieve-Identify-Prompt 파이프라인을 제안” 한 것입니다. 1. 연구 배경 Ontology Matching (OM) 두 ontology의 개념(class) 중 의미적으로 동일한 개념을 찾는 문제이다. 예: ↓ 매핑 생성 논문에서는 equivalence matching 만 다룬다. 2. 기존 LLM…
-
Towards Best Practices of Activation Patching in Language Models: Metrics and Methods (ICLR 2024)
https://www.dropbox.com/scl/fi/xiiuoz1g9kmfqj3jpd6ii/iclr24_Activation_Patching_Best_Practices.pdf?rlkey=5zlon33m52g5iq5a00kkz5t3k&dl=0 이 논문은 activation patching(= causal tracing/interchange intervention)의 실험 설정(hyperparameter) 이 interpretability 결과를 얼마나 크게 바꾸는지를 체계적으로 분석한 논문입니다. 핵심 메시지는 다음과 같습니다. “Activation patching 자체보다도,어떤 corruption method를 쓰고 어떤 metric으로 측정하느냐가localization/circuit discovery 결과를 크게 바꾼다.” 즉, 기존 mechanistic interpretability 논문들의 결과가 설정에 민감할 수 있으며, activation patching에도 “best practice”가 필요하다는 주장입니다. 1. Activation…
-
* Scaling Laws for Fact Memorization of Large Language Models (Findings of EMNLP 2024)
https://www.dropbox.com/scl/fi/m0i668eg0fl0r2674skic/femnlp24_LLM_Memory_Scaling_Laws.pdf?rlkey=46usyv2s4vu01zevvis4c6gdk&dl=0 이 논문은 LLM이 사실(fact)을 얼마나 “암기(memorizaton)”할 수 있는가를 정량적으로 분석한 논문입니다.기존 scaling law 연구(Kaplan, Chinchilla 등)가 perplexity 중심이었다면, 이 논문은 **“사실 지식 자체의 저장 능력”**에 초점을 둡니다. 핵심 메시지는 다음입니다. LLM은 사실 암기에 매우 비효율적이다.특히 중복 사실(redundant facts)까지 포함하면 파라미터 기반 기억(parametric memory)만으로는 모든 public fact를 저장하는 것이 거의 불가능하다. 그리고 이 결과를…
-
* When Not to Trust Language Models: Investigating Effectiveness of Parametric and Non-Parametric Memories (ACL 2023)
https://www.dropbox.com/scl/fi/eswa6ebdv4733gomd9snx/acl23_The_Adaptive_Retrieval_Strategy.pdf?rlkey=62mjccfdjoq4flqlw17xg951i&dl=0 이 논문은 LLM의 파라메트릭 메모리(parametric memory) 와 검색 기반 비파라메트릭 메모리(non-parametric memory) 의 역할을 체계적으로 비교·분석한 ACL 2023 논문입니다. 핵심 질문은 다음입니다: “LLM은 언제 자체 기억만으로 충분하고, 언제 retrieval(RAG)이 반드시 필요한가?” 논문은 특히 long-tail factual knowledge 에 주목합니다. 즉, 자주 등장하지 않는 희귀 엔티티 정보에 대해 LLM이 얼마나 취약한지를 분석합니다. 1. 논문의 핵심…
-
* Exploiting LLM Quantization (NeurIPS 2024)
https://www.dropbox.com/scl/fi/bq5prdt4kojy05xzjhm0j/nips24_The_Quantization_Trap.pdf?rlkey=w7se4r88bk3g1ahymacojr5u8&dl=0 이 논문은 LLM 양자화(quantization)가 단순한 압축/가속 기법이 아니라, 악성 행동을 숨겨 전달하는 공격 벡터가 될 수 있음을 최초로 체계적으로 보여준 논문입니다. 핵심 아이디어는 매우 강력합니다: Full-precision 모델은 정상처럼 보이지만, 사용자가 quantization을 수행하는 순간 악성 행동이 활성화된다. 즉, Hugging Face에 업로드된 FP32 모델은 안전해 보이는데, 사용자가 로컬에서 INT8/NF4/FP4로 양자화하면 갑자기: 1. 문제 설정 논문이 다루는…
-
xRAG: Extreme Context Compression for Retrieval-Augmented Generation with One Token (NeurIPS 2024)
https://www.dropbox.com/scl/fi/byjijszpzxqium19trigj/nips24_xRAG_One_Token_Revolution.pdf?rlkey=8pyxf0ks3m81ssfg0v1x3cf5v&dl=0 xRAG 논문 핵심 아이디어 이 논문의 핵심은 다음 한 문장으로 요약할 수 있습니다. 검색된 문서를 텍스트로 LLM에 넣지 말고, retrieval embedding 하나만 “문서 토큰 1개”처럼 넣자. 즉, 기존 RAG는: 를 입력으로 사용했지만, xRAG는: 만 사용합니다. 문제의식 기존 RAG의 가장 큰 문제는: 라는 점입니다. 예를 들어: 이면 대부분의 계산량이 retrieval context 처리에 사용됩니다.…
-
PISCO: Pretty Simple Compression for Retrieval-Augmented Generation (Findings of ACL 2025)
https://www.dropbox.com/scl/fi/bol1muc116bxosh4lvtk5/facl25_PISCO_RAG_Compression.pdf?rlkey=e29vu0v21o7tkpg37oaixpu7g&dl=0 이 논문은 RAG(Retrieval-Augmented Generation)에서 문서를 매우 강하게 압축하면서도 QA 성능 손실을 거의 없애는 soft compression 방법을 제안한 논문입니다. 핵심 메시지는 다음과 같습니다. 기존 soft compression은 압축률은 높지만 QA 정확도가 크게 떨어졌고, 대규모 pretraining + labeled QA 데이터가 필요했다.PISCO는 pretraining 없이, 단순한 sequence-level distillation만으로x16 압축에서도 원본 LLM과 거의 동일한 QA 성능을 달성한다. 1. 문제…
-
* LLMLingua-2: Data Distillation for Efficient and Faithful Task-Agnostic Prompt Compression (ACL Findings 2024)
https://www.dropbox.com/scl/fi/e7hk81lkgvhicywxwvbfe/facl24_LLMLingua-2_Prompt_Compression.pdf?rlkey=897gbqaiyae40gxrl4jnwm8p7&dl=0 이 논문은 기존 LLMLingua 계열의 한계를 개선한 task-agnostic prompt compression 논문입니다. 핵심 아이디어는 다음과 같습니다. “정보 엔트로피(perplexity) 기반으로 토큰을 제거하지 말고,LLM(GPT-4)로부터 압축 지식을 distillation하여‘이 토큰을 유지할지 버릴지’를 분류하도록 학습하자.” 즉: 입니다. 1. 문제 배경 LLM prompt는 점점 길어짐: → 수천~수만 token. 문제: 따라서: Original Prompt→Compressed Prompt\text{Original Prompt}\rightarrow\text{Compressed Prompt} 를 수행하고 싶음. 2. 기존 방법의 한계 논문은…
-
* In-Context Autoencoder for Context Compression in a Large Language Model (ICLR 2024)
https://www.dropbox.com/scl/fi/2ykx10yzigdcgu3o1cgfz/iclr24_ICAE_Context_Compression.pdf?rlkey=is1o65jcs3uglxh5a1f91w5z2&dl=0 이 논문은 LLM의 긴 context를 매우 짧은 “memory slot”으로 압축하는 방법인 ICAE (In-context Autoencoder) 를 제안한다. 핵심 아이디어는: “원래 512-token context를, 예를 들어 128개의 latent memory slot으로 압축한 뒤, LLM이 이 compressed representation만 보고도 원래 context를 거의 복원하거나 질문에 답할 수 있게 하자.” 즉, 기존 long-context transformer처럼 attention 구조를 바꾸는 대신: 를 목표로 한다.…
-
* 500xCompressor: Generalized Prompt Compression for Large Language Models (ACL 2025)
https://www.dropbox.com/scl/fi/npwxz4u9xh8oiaoq3ulkp/acl25_500xCompressor_Paradigm_Shift.pdf?rlkey=o5hasdkkhf5sc01mv56m5dpyb&dl=0 이 논문은 LLM 입력 프롬프트를 극단적으로 압축하는 방법인 500xCompressor를 제안합니다. 핵심 아이디어는: 특히 기존 soft prompt compression 계열(ICAE 등)의 한계를 넘어서: 을 강조합니다. 핵심 아이디어 논문의 핵심은: “자연어 전체를 embedding 몇 개로 요약하는 것이 아니라,KV cache 자체를 압축 representation으로 사용하자” 입니다. 기존 ICAE는: 하지만 500xCompressor는: 즉: Text→Compression Tokens→KV cache\text{Text} \rightarrow \text{Compression Tokens} \rightarrow \text{KV cache} 를…
-
Dynamic Compressing Prompts for Efficient Inference of Large Language Models (ArXiv 2025)
https://www.dropbox.com/scl/fi/lmlwrrs9npwropldjvwz7/arxiv25_Redefining_LLM_Context_Density.pdf?rlkey=v9o3s686p3srjhk525h5noytx&dl=0 핵심 아이디어 Prompt compression을 “순차적 의사결정 문제 (MDP)”로 모델링하여token을 하나씩 제거하면서 성능을 유지하는 RL 기반 방법 1. 문제 정의 (Why this paper?) 배경 따라서: “짧지만 동일한 의미를 유지하는 prompt”가 필요 기존 방법 한계 논문에서 명확히 3가지로 정리: (1) Task-specific (2) Static token importance (3) Black-box dependency 2. 핵심 방법론: LLM-DCP 핵심 구조 Prompt compression…
-
* Understanding and Improving Information Preservation in Prompt Compression for LLMs (Findings of EMNLP 2025)
https://www.dropbox.com/scl/fi/9vs0w0m4z5tvyv96unrzb/femnlp25_High_Resolution_Prompt_Compression.pdf?rlkey=mtbkegixvgzz8o9vebdhld32r&dl=0 이 논문은 LLM의 Prompt Compression 기법들을 단순히 “성능 유지” 관점이 아니라, 를 체계적으로 분석한 논문입니다. 1. 핵심 문제의식 최근 LLM은 수천~수십만 token context를 처리할 수 있지만: 문제가 발생합니다. 그래서 Prompt Compression이 필요합니다. 논문은 기존 연구들이 대부분: “압축 후 downstream accuracy만 측정” 하는 것이 문제라고 지적합니다. 즉: 를 봐야 한다는 것입니다. 2. Prompt…
-
* When Less is More: The LLM Scaling Paradox in Context Compression (ArXiv 2026)
https://www.dropbox.com/scl/fi/7rs4dbvlr6z4d6iiu6u42/arxiv26_The_Size-Fidelity_Paradox.pdf?rlkey=iaofmrbtiszvzh5j7umnkqt8g&dl=0 논문 개요 이 논문은 LLM 기반 context compression에서 기존 scaling law와 반대되는 현상을 발견한 논문이다. 핵심 주장은 다음과 같다: 압축기(compressor) 모델이 커질수록 reconstruction score는 좋아지지만, 실제 원문 충실성(faithfulness)은 오히려 나빠질 수 있다. 논문은 이를: Size-Fidelity Paradox 라고 부른다. 1. 문제 배경 최근 long-context compression에서는 다음 구조가 많이 사용된다. Compressor–Decoder 구조 입력 문서…
-
* FaithEval: Can Your Language Model Stay Faithful to Context, Even if “The Moon is Made of Marshmallows” (ICLR 2025)
https://www.dropbox.com/scl/fi/my2br1phjaeruvsoo53qr/iclr25_FaithEval_RAG_Diagnostic.pdf?rlkey=e7vosy8jszqmwczxijfejfc49&dl=0 FaithEval 논문 핵심 요약 이 논문은 LLM이 제공된 context에 얼마나 “충실(faithful)”한가를 평가하기 위한 benchmark인 FaithEval을 제안한다.핵심 문제의식은 다음과 같다: LLM은 일반 상식(world knowledge)은 잘 알고 있지만,주어진 context가 상식과 충돌하거나 불완전할 때도 context만을 따라갈 수 있는가? 즉, 이 논문은 단순 factuality가 아니라: 을 측정하는 benchmark 논문이다. 1. 문제 정의: Factuality vs Faithfulness 논문은 hallucination을 두…
-
*** Jailbreaking Leading Safety-Aligned LLMs with Simple Adaptive Attacks (ICLR 2025)
https://www.dropbox.com/scl/fi/g6gm2mxx83ltyv47nm702/iclr25_Shattering_AI_Safety.pdf?rlkey=lcz240n08cmichjgadn06yzmq&dl=0 이 논문은 다음의 핵심 메시지를 전달합니다: 현재의 대표적인 safety-aligned LLM들(GPT-4o, Claude 3.5, Llama-3, Gemma 등)은생각보다 훨씬 단순한 adaptive attack만으로도 거의 100% jailbreak 가능하다. 특히 중요한 점은: 없이도, 단순한: 조합만으로 frontier 모델들을 전부 jailbreak 했다는 점입니다. 1. 문제 설정 논문의 목표는 다음입니다. LLM이 원래는 거부(refusal)해야 하는 harmful request: 등에 대해 실제 harmful response를 생성하도록…
-
Baseline Defenses for Adversarial Attacks Against Aligned Language Models (ArXiv 2023)
https://www.dropbox.com/scl/fi/42xh1x464c0cw7gfxxm7d/arxiv23_LLM_Adversarial_Security.pdf?rlkey=c5j9qru9civdb6vsgtbh604u1&dl=0 이 논문은 LLM jailbreak 공격에 대해, 기존 adversarial machine learning(특히 computer vision)의 방어 기법들을 LLM에 적용하면 실제로 얼마나 효과가 있는지를 체계적으로 분석한 초기 대표 논문이다. 핵심은 **“완벽한 defense를 만들었다”가 아니라, 기존 baseline defense들이 LLM에서는 surprisingly 잘 동작할 수 있다”**는 점이다. 1. 논문 핵심 문제의식 기존 alignment된 LLM(ChatGPT, Vicuna 등)은 harmful query에 대해 refusal을…
-
Language-specific Neurons Do Not Facilitate Cross-Lingual Transfer (The Sixth Workshop on Insights from Negative Results in NLP 2025)
https://www.dropbox.com/scl/fi/w1wk2k686rdrnxflz4rpp/insights-acl25_The_Language_Switch_Myth.pdf?rlkey=2bs8h9089xa7c7rl91k2969uk&dl=0 이 논문은 다음 질문에 답하려는 연구입니다: “멀티링구얼 LLM 내부의 language-specific neuron(언어 특화 뉴런)을 조작하면 low-resource 언어의 cross-lingual 성능을 향상시킬 수 있는가?” 결론부터 말하면: 거의 효과가 없었다. 오히려 language neuron 조작이 task 성능을 망가뜨리는 경우가 많았으며,이는 뉴런이 단순히 “언어 정보만” 저장하는 것이 아니라task 정보까지 함께 담고 있기 때문이라고 분석합니다. 1. 핵심 배경 최근 multilingual LLM…
-
Understanding and Mitigating Language Confusion in LLMs (EMNLP 2024)
https://www.dropbox.com/scl/fi/ncaknhnfh2bxvkr7b5fee/emnlp24_Solving_LLM_Language_Confusion.pdf?rlkey=lf7ggvlat5jzlo3j4ffsbrt7p&dl=0 1. 핵심 문제 정의: Language Confusion 논문에서 정의한 language confusion은 다음과 같다. “모델이 사용자가 원하는 언어 대신 다른 언어를 섞거나 전환하여 생성하는 오류” 중요한 점은: 논문은 confusion을 3가지 수준으로 구분한다. (1) Full-response confusion 전체 응답이 다른 언어로 생성됨. 예: 즉: (2) Line-level confusion 일부 줄은 target language,일부 줄은 다른 언어. 예: (3) Word-level…
-
*** Steering at the Source: Style Modulation Heads for Robust Persona Control (ArXiv 2026)
https://www.dropbox.com/scl/fi/wvyfsrnw0mku9omvboaoe/arxiv26_Steering_at_the_Source.pdf?rlkey=vb162vz7hfrxuaee76dtgtkg1&dl=0 1. 핵심 문제의식 (Problem Setting) 기존 Activation Steering의 한계 중요한 관찰 2. 핵심 아이디어 (Core Insight) 문제의 원인 기존 방식: 문제: 제안: “Where to steer” 기존 연구: 이 논문: “어디에 steering 해야 하는가?” 3. 핵심 발견: Style Modulation Heads 발견 내용 → 이를 Style Modulation Heads (SMH)라고 정의 특징 속성 설명 sparsity 매우 적은…
-
* Mechanistic Understanding and Mitigation of Language Confusion in English-Centric Large Language Models (Findings of EMNLP 2025)
https://www.dropbox.com/scl/fi/mctlhymhvdyayqn39o8uz/femnlp25_Surgical_Mitigation_of_LLM_Language_Confusion.pdf?rlkey=ll1e382d05a6z4rn4q5b686fo&dl=0 1. 문제 정의: Language Confusion 핵심 현상 유형 예시 (논문 Fig.1): 2. 핵심 개념: Confusion Point (CP) 정의 –> 매우 중요한 insight: 실험 결과 Table 2 (page 4) –> language confusion은 “local failure”임을 보여줌 3. Mechanistic Insight (핵심 기여) 3.1 Layer-wise 분석 (TunedLens 사용) 관찰 (page 5, Fig.2) 결론 language confusion =“latent → surface…
-
*** Spherical Steering: Geometry-Aware Activation Rotation for Language Models (ArXiv 2026)
https://www.dropbox.com/scl/fi/eta4fhg6uigumi9g2jysl/arxiv26_Spherical_Steering.pdf?rlkey=1pp9ns7uw0mrdik3qgrrurz8h&dl=0 1. 문제 설정 (핵심 motivation) 기존 activation steering: 문제점: 논문 핵심 주장: “LLM의 semantic signal은 magnitude가 아니라 direction에 있다” → 따라서 steering도 벡터 이동이 아니라 방향 회전으로 해야 한다 2. 핵심 아이디어: Spherical Steering (1) Representation을 hypersphere로 해석 ⇒ Sd−1S^{d-1} (unit hypersphere 위의 점) (2) Truthfulness axis 정의 contrastive 데이터로부터: Δ=m+−m−\Delta = m^+ –…
-
*** Angular Steering: Behavior Control via Rotation in Activation Space (NeurIPS 2025)
https://www.dropbox.com/scl/fi/z5utwa7t3pmkcrclffe69/nips25_Angular_LLM_Steering.pdf?rlkey=q4ftzgdq6xumwakvdasg2metc&dl=0 논문 개요 Angular Steering: Behavior Control via Rotation in Activation Space (NeurIPS 2025) 핵심 문제 기존 방법: 문제: 핵심 아이디어 (한 줄) Activation steering = “벡터 이동”이 아니라 “각도 회전”이다 1. Angular Steering 핵심 개념 ✔️ 기본 설정 –> 이 두 개로 2D subspace P 구성 ✔️ 핵심 연산: Rotation 논문은 steering을 다음처럼 정의:…
-
* Prompt Compression for Large Language Models: A Survey (NAACL 2025)
https://www.dropbox.com/scl/fi/7edjf7pu45zvyy295jmrr/naacl25_Prompt_Compression.pdf?rlkey=09bdtlpyroge9vh5qcvjygy25&dl=0 1. 핵심 문제의식 (Why Prompt Compression?) LLM 사용 시 가장 큰 병목 중 하나는 긴 prompt입니다. 따라서 목표는: “성능 유지하면서 prompt 길이 최소화” 2. 전체 프레임워크 논문은 prompt compression을 크게 두 가지로 분류합니다: (1) Hard Prompt Compression (2) Soft Prompt Compression 정리: 구분 방식 특징 Hard token filtering / paraphrasing 해석 가능 Soft embedding…