[카테고리:] Determinantal Point Process
-
* Correlation-Aware Example Selection for In-Context Learning with Nonsymmetric Determinantal Point Processes (EMNLP 2025)
이 논문은 ICL(In-Context Learning) 예제 선택(example selection) 문제를 다루며, 기존 DPP 기반 방법의 한계를 극복하기 위해 NDPP (Nonsymmetric Determinantal Point Process) 를 도입한 연구이다. Compositional Exemplars (CEIL, ICML 2023) 의 후속 발전으로 볼 수 있다. 1. 문제의식 ICL에서는 어떤 demonstration(example)을 넣느냐에 따라 성능 차이가 매우 크다. 기존 방법들은 크게: (1) Query Similarity 기반 즉,…
-
* Effective Demonstration Annotation for In-Context Learning via Language Model-Based Determinantal Point Process (EMNLP 2024)
이 논문은 **ICL(In-Context Learning)에서 어떤 데이터를 먼저 라벨링(annotation)해야 하는가?**를 다룬 연구입니다. 기존 ICL 연구는 보통 다음을 가정합니다. “이미 큰 labeled support set이 존재한다.” 그러나 실제 환경에서는 수만 개의 데이터에 라벨을 다는 비용이 매우 큽니다. 따라서 저자들은 다음 문제를 제기합니다. “라벨이 전혀 없는 데이터 풀(unlabeled pool)에서 극소수(16개~100개)만 라벨링할 수 있다면 어떤 샘플을 선택해야 ICL 성능이 가장…
-
* Compositional Exemplars for In-context Learning (ICML 2023)
이 논문은 **ICL(In-Context Learning)에서 어떤 예제(demonstration)를 선택할 것인가?**라는 문제를 다룹니다. 핵심 아이디어는 매우 간단합니다. 기존 방법은 “좋은 예제를 하나씩” 찾는다. CEIL은 “좋은 예제 집합(set)“을 찾는다. 이를 위해 Determinantal Point Process (DPP) 를 활용하여예제들 간의 다양성(diversity) 과 입력과의 관련성(relevance) 을 동시에 고려합니다. 1. 연구 배경 ICL에서는 다음과 같은 형태로 추론합니다. GPT-3 이후 알려진 사실은 는…
-
* Determinantal Point Process (DPP)
Determinantal Point Process (DPP) **Determinantal Point Process (DPP)**는 집합(Set)에서 다양성(Diversity) 을 고려하여 부분집합(subset)을 선택하기 위한 확률 모델이다. 직관적으로는: “품질이 좋은 항목들을 선택하되, 서로 비슷한 항목은 동시에 선택될 확률을 낮춘다.” 즉, Quality + Diversity를 동시에 고려하는 샘플링 기법이다. 1. 왜 필요한가? 예를 들어 문서 검색 결과가 다음과 같다고 하자. 문서 내용 D1 GPT 논문 D2 GPT-2…