[태그:] MIN-K% PROB

https://www.dropbox.com/scl/fi/esqhe0nedc50y1pnz1flk/iclr24_Unmasking_LLM_Training_Data.pdf?rlkey=twcsbcascfpoyj9ex04zjixo6&dl=0 1. 문제 제기: Pretraining Data Detection LLM은 어떤 데이터로 학습되었는지 공개되지 않는 경우가 많음. 이로 인해 다음과 같은 문제가 발생: 따라서 논문은 다음 질문을 다룸: Black-box LLM에 대해, 주어진 텍스트가 pretraining 데이터에 포함되었는지 판별할 수 있는가? 이는 Membership Inference Attack (MIA)의 pretraining 버전 문제이다. 2. 기존 MIA와의 차이점 (핵심 난점) 논문은 기존 fine-tuning MIA와…