[태그:] LLMLingua-2

이 논문은 기존 LLMLingua 계열의 한계를 개선한 task-agnostic prompt compression 논문입니다. 핵심 아이디어는 다음과 같습니다. “정보 엔트로피(perplexity) 기반으로 토큰을 제거하지 말고,LLM(GPT-4)로부터 압축 지식을 distillation하여‘이 토큰을 유지할지 버릴지’를 분류하도록 학습하자.” 즉: 입니다. 1. 문제 배경 LLM prompt는 점점 길어짐: → 수천~수만 token. 문제: 따라서: Original Prompt→Compressed Prompt\text{Original Prompt}\rightarrow\text{Compressed Prompt} 를 수행하고 싶음. 2. 기존 방법의 한계 논문은 기존…