[태그:] In-Context Learning
-
** Function Vectors in Large Language Models (ICLR 2024)
논문: Function Vectors in Large Language Models, ICLR 2024. 핵심은 ICL prompt가 유도한 “작업 함수”가 LLM 내부의 특정 attention head 출력들의 합으로 벡터화되어 있으며, 이 벡터를 다른 문맥에 삽입하면 모델이 해당 작업을 수행한다는 주장입니다. 1. 핵심 아이디어 논문은 LLM이 few-shot ICL을 할 때 단순히 예시를 복사하거나 표면 패턴을 따르는 것이 아니라, 예시들로부터 “입력→출력 함수”…
-
* Interpretability Analysis of Arithmetic In-Context Learning in Large Language Models (EMNLP 2025)
이 논문은 “LLM이 arithmetic ICL(In-Context Learning)을 할 때 실제로 무엇을 배우는가?” 를 mechanistic interpretability 관점에서 분석한 연구입니다. 특히 기존 연구가 주로 2-operand arithmetic (a+b) 를 분석한 반면, 본 논문은 3-operand arithmetic (a+b+c) 를 대상으로 합니다. 논문의 핵심 결론은 다음 한 문장으로 요약됩니다. LLM은 ICE(In-Context Example)의 산술적 정답을 배우기보다는 ICE의 패턴(format, structure) 을 학습하여 문제를…
-
* From Few to Many: Self-Improving Many-Shot Reasoners Through Iterative Optimization and Generation (ICLR 2025)
논문 개요 From Few to Many: Self-Improving Many-Shot Reasoners Through Iterative Optimization and Generation은 long-context LLM에서 many-shot ICL을 단순히 많이 넣는 방식으로 쓰는 것이 최적인가를 분석하고, 더 좋은 예제를 선택(optimize) 한 뒤 그 예제로 다시 reasoning path를 생성(generate) 하는 반복 알고리즘 BRIDGE를 제안한 논문입니다. 핵심 주장은 다음입니다. many-shot 성능 향상은 모든 예제가 균등하게 기여해서가 아니라,…
-
* COM-BOM: Bayesian Exemplar Search for Efficiently Exploring the Accuracy-Calibration Pareto Frontier (EMNLP 2025)
논문 개요 이 논문은 ICL(In-Context Learning)에서 exemplar 선택 문제를 단순히 “정확도를 높이는 문제”가 아니라, 정확도와 calibration을 동시에 최적화하는 multi-objective combinatorial optimization 문제로 재정의합니다. 제안 방법은 COM-BOM으로, 전체 이름은 Combinatorial Bayesian Optimization of Multiple ICL Metrics입니다. 핵심 아이디어는 다음과 같습니다. 좋은 exemplar set은 단순히 정답률이 높은 것만으로는 부족하고,모델이 자신의 정답 가능성에 대해 얼마나 잘 calibrated되어…
-
* Correlation-Aware Example Selection for In-Context Learning with Nonsymmetric Determinantal Point Processes (EMNLP 2025)
이 논문은 ICL(In-Context Learning) 예제 선택(example selection) 문제를 다루며, 기존 DPP 기반 방법의 한계를 극복하기 위해 NDPP (Nonsymmetric Determinantal Point Process) 를 도입한 연구이다. Compositional Exemplars (CEIL, ICML 2023) 의 후속 발전으로 볼 수 있다. 1. 문제의식 ICL에서는 어떤 demonstration(example)을 넣느냐에 따라 성능 차이가 매우 크다. 기존 방법들은 크게: (1) Query Similarity 기반 즉,…
-
* Effective Demonstration Annotation for In-Context Learning via Language Model-Based Determinantal Point Process (EMNLP 2024)
이 논문은 **ICL(In-Context Learning)에서 어떤 데이터를 먼저 라벨링(annotation)해야 하는가?**를 다룬 연구입니다. 기존 ICL 연구는 보통 다음을 가정합니다. “이미 큰 labeled support set이 존재한다.” 그러나 실제 환경에서는 수만 개의 데이터에 라벨을 다는 비용이 매우 큽니다. 따라서 저자들은 다음 문제를 제기합니다. “라벨이 전혀 없는 데이터 풀(unlabeled pool)에서 극소수(16개~100개)만 라벨링할 수 있다면 어떤 샘플을 선택해야 ICL 성능이 가장…
-
* Compositional Exemplars for In-context Learning (ICML 2023)
이 논문은 **ICL(In-Context Learning)에서 어떤 예제(demonstration)를 선택할 것인가?**라는 문제를 다룹니다. 핵심 아이디어는 매우 간단합니다. 기존 방법은 “좋은 예제를 하나씩” 찾는다. CEIL은 “좋은 예제 집합(set)“을 찾는다. 이를 위해 Determinantal Point Process (DPP) 를 활용하여예제들 간의 다양성(diversity) 과 입력과의 관련성(relevance) 을 동시에 고려합니다. 1. 연구 배경 ICL에서는 다음과 같은 형태로 추론합니다. GPT-3 이후 알려진 사실은 는…
-
*** Interpret and Improve In-Context Learning via the Lens of Input-Label Mappings (ACL 2025)
논문 **“Interpret and Improve In-Context Learning via the Lens of Input-Label Mappings” (ACL 2025)**는 대형 언어 모델(LLM)의 In-Context Learning (ICL) 능력을 **입력-레이블 매핑(input-label mappings)**의 관점에서 분석하고, 해당 메커니즘을 해석하며, 향상시키는 방법을 제안합니다. 1. 연구 질문 LLM의 ICL 성능을 분석하기 위해 다음 세 가지 질문을 다룹니다: 2. 주요 기여 (1) 입력-레이블 매핑의 발견 (2) PC Patching 기법 (3) 매핑…