[태그:] Context Compression

논문 개요 이 논문은 LLM 기반 context compression에서 기존 scaling law와 반대되는 현상을 발견한 논문이다. 핵심 주장은 다음과 같다: 압축기(compressor) 모델이 커질수록 reconstruction score는 좋아지지만, 실제 원문 충실성(faithfulness)은 오히려 나빠질 수 있다.   논문은 이를: Size-Fidelity Paradox 라고 부른다.   1. 문제 배경 최근 long-context compression에서는 다음 구조가 많이 사용된다. Compressor–Decoder 구조 입력 문서 x를:…