썸네일 Bayesian Deep Learning | Set Theory Set example옷장 = set옷 = element옷들의 일부 = subset전체 옷들 = universal set옷들이 몇개입니까?, 옷이 많이 있습니까? = set operationsdisjoint sets : 교집합이 공집합인 경우partition of $A$$A = \{1,2,3,4\}$, partition of $A$ : $\{ \{1,2\},\{3\},\{4\}\}$겹치지 않고 합쳤을 때 전체가 되는cartesian product : 두 집합에서 각각 원소 하나씩을 가져와서 쌍을 만들고, 그 쌍들로 집합을 이룬 것$A \times B = \{(a,b) : a \in A, b \in B \}$power set $2^A$ : $A$가 가질 수 있는 모든 subsets들의 집합$A = \{1,2..
썸네일 인공지능 및 기계학습 심화 | [2-20] Acquisition Function 2 https://youtu.be/97imRS89240?si=PoptQHYWuJ0_d9Or
썸네일 인공지능 및 기계학습 심화 | [2-19] Acquisition Function 1 출처 : https://youtu.be/v0m_DIGDIQ8?si=W-WAPiJ2ArfX39M2
썸네일 Posterior Predictive Distribution 정리하기  출처 : https://artindatascience.wordpress.com/posterior-predicitve-distrbution/ Posterior Predicitve DistrbutionThe posterior predictive distribution means that what value of data we would expect to obtain if we need to repeat the experiment after we have seen the data from our current experiment, so what so…artindatascience.wordpress.com
썸네일 MAP MLE는 우리가 어떤 파라미터를 추정할 때, likelihood를 최대로 하는 파라미터를 찾는 과정을 말한다.하지만 MLE는 우리가 기본적으로 알고 있는 데이터의 '사전 지식'을 반영하지 못한다는 한계를 가진다.이러한 단점을 극복하고, 우리가 데이터에 대한 정보가 있는 상황에서 posterior값을 최대로 하는 파라미터를 찾는 과정을 MAP estimation이라고 부른다. MAP우선 베이즈 정리를 보자$$p(\theta \mid x) = \frac{p(x \mid \theta) p(\theta)}{p(x)}$$위에서 표현된 posterior를 최대로 하는 $\theta$를 찾는 것이 목표다.$$\hat{\theta} = \arg\max_\theta p(\theta \mid x) = \arg\max_\t..
썸네일 MLE MLE1. Likelihood우선 Likelihood란, 데이터가 특정 분포로부터 만들어졌을 확률을 말한다.($\theta$가 데이터 $X$를 얼마나 잘 설명하는지라고 봐도 무방하다.)그래서 수식 또한 $L(\theta) = p(X \mid \theta)$로 나타난다. 분포의 파라미터 $\theta=(\mu, \sigma)$인 정규분포라고 가정하면, 한 개의 데이터 $x_n$이 이 정규분포를 따를 확률은 다음과 같다. $$p(x_n \mid \theta) = \frac{1}{\sqrt{2 \pi \sigma^2}} \exp \{ -\frac{(x_n - \mu)^2}{2 \sigma^2} \}$$ 모든 데이터 $X = \{x_1, \dots, x_n\}$이 independent하다고 가정하면 다음과 같은..