[태그:] CEIL

  • * Compositional Exemplars for In-context Learning (ICML 2023)

    * Compositional Exemplars for In-context Learning (ICML 2023)

    이 논문은 **ICL(In-Context Learning)에서 어떤 예제(demonstration)를 선택할 것인가?**라는 문제를 다룹니다. 핵심 아이디어는 매우 간단합니다. 기존 방법은 “좋은 예제를 하나씩” 찾는다. CEIL은 “좋은 예제 집합(set)“을 찾는다. 이를 위해 Determinantal Point Process (DPP) 를 활용하여예제들 간의 다양성(diversity) 과 입력과의 관련성(relevance) 을 동시에 고려합니다.   1. 연구 배경 ICL에서는 다음과 같은 형태로 추론합니다. GPT-3 이후 알려진 사실은 는…