carrtesy carrtesy

두 확률분포의 차이를 어떻게 재 볼 수 있을까요?Cross entropy, KL-divergence 를 다뤄봅니다.들어가기에 앞서정보이론 2편의 글 에서 entropy를 정보량의 기댓값, 즉,$$\mathcal{H}(x) = E[h(x)] = E[log_{2}\frac{1}{p(x=a)}]$$으로 정의하였습니다.날씨 예보 v2집에 누워 날씨예보를 보고 있는 우리 모습을 또 한번 더 상상해 봅니다.이번엔 부산의 날씨만 예측하려 합니다. 부산 날씨가 워낙 변화무쌍해서, 기상청이 날씨에 대한 읋은 예측은 항상 하지는 못합니다. 그래서 예보관을 여럿 두고 있는데요, 예보관들은 날씨에 대해 다음과 같은 확률을 가지고 있다고 믿고 예보를 한다고 해 봅시다.Weather맑음바람비눈Prob. (부산)0.30.40.20..