[카테고리:] Multi-Objective Optimization
-
syftr: Pareto-Optimal Generative AI (AutoML 2025)
이 논문은 RAG(Retrieval-Augmented Generation) 시스템을 AutoML 관점에서 자동 설계하는 최초의 Multi-Objective Bayesian Optimization 프레임워크라고 볼 수 있습니다. 핵심 목표는: “주어진 데이터셋에서 정확도(Accuracy)와 비용(Cost)의 Pareto-optimal RAG flow를 자동으로 찾자”입니다. 1. 문제 정의 기존 RAG 구축 시 다음과 같은 선택들이 존재합니다. 예를 들어: 이들을 조합하면 수백~수천 개의 RAG flow가 생성됩니다. 논문에서는 총 1023개의 RAG Flow를 탐색…
-
* COM-BOM: Bayesian Exemplar Search for Efficiently Exploring the Accuracy-Calibration Pareto Frontier (EMNLP 2025)
논문 개요 이 논문은 ICL(In-Context Learning)에서 exemplar 선택 문제를 단순히 “정확도를 높이는 문제”가 아니라, 정확도와 calibration을 동시에 최적화하는 multi-objective combinatorial optimization 문제로 재정의합니다. 제안 방법은 COM-BOM으로, 전체 이름은 Combinatorial Bayesian Optimization of Multiple ICL Metrics입니다. 핵심 아이디어는 다음과 같습니다. 좋은 exemplar set은 단순히 정답률이 높은 것만으로는 부족하고,모델이 자신의 정답 가능성에 대해 얼마나 잘 calibrated되어…
-
Pareto Front (파레토 프론트)
Pareto Front는 다목적 최적화(Multi-Objective Optimization) 에서 사용되는 개념으로, 서로 상충(trade-off)하는 여러 목표를 동시에 최적화할 때 등장한다. 예를 들어, 하지만 일반적으로 정확도를 높이면 모델이 커져서 추론 시간이 증가한다. 이처럼 하나의 목표를 개선하면 다른 목표가 악화되는 상황에서 Pareto Front를 사용한다. 1. Pareto Optimal Solution 해 x1,x2x_1, x_2가 있을 때, x1x_1이 x2x_2보다 x1x_1이 x2x_2를 지배(Dominate) 한다고 한다. 수학적으로…