[태그:] RAG

  • syftr: Pareto-Optimal Generative AI (AutoML 2025)

    syftr: Pareto-Optimal Generative AI (AutoML 2025)

    이 논문은 RAG(Retrieval-Augmented Generation) 시스템을 AutoML 관점에서 자동 설계하는 최초의 Multi-Objective Bayesian Optimization 프레임워크라고 볼 수 있습니다. 핵심 목표는: “주어진 데이터셋에서 정확도(Accuracy)와 비용(Cost)의 Pareto-optimal RAG flow를 자동으로 찾자”입니다.   1. 문제 정의 기존 RAG 구축 시 다음과 같은 선택들이 존재합니다. 예를 들어: 이들을 조합하면 수백~수천 개의 RAG flow가 생성됩니다. 논문에서는 총 1023개의 RAG Flow를 탐색…

  • xRAG: Extreme Context Compression for Retrieval-Augmented Generation with One Token (NeurIPS 2024)  

    xRAG: Extreme Context Compression for Retrieval-Augmented Generation with One Token (NeurIPS 2024)  

    xRAG 논문 핵심 아이디어 이 논문의 핵심은 다음 한 문장으로 요약할 수 있습니다. 검색된 문서를 텍스트로 LLM에 넣지 말고, retrieval embedding 하나만 “문서 토큰 1개”처럼 넣자. 즉, 기존 RAG는: 를 입력으로 사용했지만, xRAG는: 만 사용합니다.   문제의식 기존 RAG의 가장 큰 문제는: 라는 점입니다.   예를 들어: 이면 대부분의 계산량이 retrieval context 처리에 사용됩니다. 기존…