최적화 스터디 | 1단원 bayesian optimization workflow 복습

 

Environment

• '환경'은 우리가 최적화하려는 함수인 black-box objective function $f(x)$에 해당한다.
• 이 함수는 우리가 알지 못하지만 탐색을 통해 최적의 값을 찾아야 한다.
• 근데 블랙박스 함수는 명시적으로 표현할 수 없고, 특정 위치에서 샘플링하여 그 값을 '추정'한다.
• 근데 이 과정에서 비용이 많이 들거나 시간이 오래 걸릴 수 있다.

 

Observation 

• environment에서 샘플링한 값
• 실제 함수 값에 노이즈가 포함된 값일 수 있다 >> $y_i = f(x_i) + \epsilon$

 

Gaussian Process (GP)

• 함수의 불확실성을 확률적으로 모델링하는 방법
• 주어진 관찰값을 기반으로 함수의 다른 위치에서의 값을 예측하고, 그 예측값에 대한 확률 분포를 제공함
• observation model : 관측값이 $y_i = f(x_i) + \epsilon$로 나타난다는 가정하에, 함수의 모든 위치에서의 값을 Gaussian Distribution으로 모델링함
• posterior distribution : 주어진 샘플링 데이터로부터 prior distribution을 업데이트하고 각 위치에서의 함수 값에 대한 사후 확률 분포 (posterior distribution)을 계산한다. GP는 함수의 값뿐만 아니라, 불확실성까지 모델링함. 이를 통해 특정 위치에서의 함수 값의 mean과 variance를 얻는다

 

Acquisition Function

• GP로부터 얻은 함수 값과 불확실성을 기반으로, 다음에 샘플링할 위치를 결정하는 데 사용됨
• 샘플링할 위치의 utility를 계산함 >> 새로운 정보를 얼마나 많이 얻을 수 있는지를 반영

 

Policy

• 샘플링 위치 결정 : AF를 이용해 가장 유용한 정보를 얻을 수 있는 샘플링 위치 $x_{next}$를 선택한다.
• 환경에서 샘플링 : $x_{next}$에서 실제로 함수를 평가하여 노이즈가 포함된 관찰값 $y_{next}$를 얻는다.
• GP 업데이트 : 새로운 샘플링 데이터를 이용해 GP모델을 업데이트 한다. 새로운 정보를 반영하여 함수의 형태와 불확실성을 더 정확하게 추정한다.
• 반복 : AF -> Environment -> GP update

 

GOAL

• 가능한 한 적은 샘플링 횟수로 함수의 global optimum을 찾는 것