[태그:] Function Vectors

https://www.dropbox.com/scl/fi/hotaolcedy6yd2o5b48sc/iclr24_LLM_Function_Vector_Anatomy.pdf?rlkey=f4g9u2icoi4p79p8tiyu9xfon&dl=0 논문: Function Vectors in Large Language Models, ICLR 2024. 핵심은 ICL prompt가 유도한 “작업 함수”가 LLM 내부의 특정 attention head 출력들의 합으로 벡터화되어 있으며, 이 벡터를 다른 문맥에 삽입하면 모델이 해당 작업을 수행한다는 주장입니다.   1. 핵심 아이디어 논문은 LLM이 few-shot ICL을 할 때 단순히 예시를 복사하거나 표면 패턴을 따르는 것이 아니라, 예시들로부터 “입력→출력…