[태그:] FaithEval
-

* FaithEval: Can Your Language Model Stay Faithful to Context, Even if “The Moon is Made of Marshmallows” (ICLR 2025)
https://www.dropbox.com/scl/fi/my2br1phjaeruvsoo53qr/iclr25_FaithEval_RAG_Diagnostic.pdf?rlkey=e7vosy8jszqmwczxijfejfc49&dl=0 FaithEval 논문 핵심 요약 이 논문은 LLM이 제공된 context에 얼마나 “충실(faithful)”한가를 평가하기 위한 benchmark인 FaithEval을 제안한다.핵심 문제의식은 다음과 같다: LLM은 일반 상식(world knowledge)은 잘 알고 있지만,주어진 context가 상식과 충돌하거나 불완전할 때도 context만을 따라갈 수 있는가? 즉, 이 논문은 단순 factuality가 아니라: 을 측정하는 benchmark 논문이다. 1. 문제 정의: Factuality vs Faithfulness 논문은 hallucination을 두…