[태그:] Context Compression

https://www.dropbox.com/scl/fi/7rs4dbvlr6z4d6iiu6u42/arxiv26_The_Size-Fidelity_Paradox.pdf?rlkey=iaofmrbtiszvzh5j7umnkqt8g&dl=0 논문 개요 이 논문은 LLM 기반 context compression에서 기존 scaling law와 반대되는 현상을 발견한 논문이다. 핵심 주장은 다음과 같다: 압축기(compressor) 모델이 커질수록 reconstruction score는 좋아지지만, 실제 원문 충실성(faithfulness)은 오히려 나빠질 수 있다.   논문은 이를: Size-Fidelity Paradox 라고 부른다.   1. 문제 배경 최근 long-context compression에서는 다음 구조가 많이 사용된다. Compressor–Decoder 구조 입력 문서…