[태그:] Tree-Structured Parzen Estimator

1. 문제 설정: Black-box Optimization TPE는 Bayesian Optimization (BO) 계열 알고리즘으로, 다음 문제를 해결합니다: x∗=arg⁡minx∈𝒳⁡f(x)x^* = \arg\min_{x \in \mathcal{X}} f(x) 2. 핵심 아이디어: 기존 BO와의 차이 일반 BO (e.g., GP-based) TPE의 핵심 차별점 역방향 모델링: p(x|y) 를 직접 모델링p(x|y) \text{ 를 직접 모델링} 즉, p(x|y)={p(x|𝒟(l))(y≤yγ)p(x|𝒟(g))(y>yγ)p(x|y) = \begin{cases} p(x | \mathcal{D}^{(l)}) & (y \le y_\gamma) \\ p(x | \mathcal{D}^{(g)})…