carrtesy carrtesy

두 확률분포의 차이를 어떻게 재 볼 수 있을까요?Cross entropy, KL-divergence 를 다뤄봅니다.들어가기에 앞서정보이론 2편의 글 에서 entropy를 정보량의 기댓값, 즉,$$\mathcal{H}(x) = E[h(x)] = E[log_{2}\frac{1}{p(x=a)}]$$으로 정의하였습니다.날씨 예보 v2집에 누워 날씨예보를 보고 있는 우리 모습을 또 한번 더 상상해 봅니다.이번엔 부산의 날씨만 예측하려 합니다. 부산 날씨가 워낙 변화무쌍해서, 기상청이 날씨에 대한 읋은 예측은 항상 하지는 못합니다. 그래서 예보관을 여럿 두고 있는데요, 예보관들은 날씨에 대해 다음과 같은 확률을 가지고 있다고 믿고 예보를 한다고 해 봅시다.Weather맑음바람비눈Prob. (부산)0.30.40.20..

딥러닝 개발을 torch로 하다보면, random성을 제어해야 한다 (reproduciblity를 위해서). 난 이렇게 한다!def SEED_everything(SEED): torch.manual_seed(SEED) torch.backends.cudnn.deterministic = True torch.backends.cudnn.benchmark = False np.random.seed(SEED) random.seed(SEED)

kan 이라는 모듈을 깔아 돌려보려 했는데, 자꾸 "sympy" 모듈이 없다 한다.pip install sympy로 설치를 해도 그런데, 왜그러지?  이유는 jupyter kernel은 가상환경과 아예 분리되어 독립적으로 움직여서 그렇단다.사실 정확히 이유는 잘 모르겠고, 솔루션은 간단하다.아래의 명령어로 명시적으로 커널 설정을 해주면 된다.가상환경 들어가서 -> ipykernel 설치 -> 커널 만들기 순이다.source activate ENVNAMEpip install ipykernelpython -m ipykernel install --user --name ENVNAME --display-name "Python (whatever you want to call it)"  나는 --display-nam..

인공지능 모델링을 하다보면, 남이 쓴 코드를 그대로 긁어와 라이브러리처럼 쓰고 싶은데 그러지 못할 때가 많다. pip로 release한 경우라면 pip install 한 뒤 쓰면 되는데, 모든 repo가 그렇진 않다. 그래도 쉽게 쓰고 싶다면...?  우선 github repo를 clone해오자. 나의 예시는 microsoft의 otdd이다.git clone https://github.com/microsoft/otdd 그다음에 해당 코드를 돌리는 데 필요한 라이브러리를 설치해준다. 나의 경우에는 해당 라이브러리들이 requirements.txt에 정리가 되어 있어 아래의 코드를 돌렸다.pip install -r requirements.txt 그다음에, 아래와 같이 돌리고 나의 코드 맨 처음에, 아래 코드..

우리는 TV를 볼 때 리모컨을 통해 원하는 채널로 이동해서 원하는 프로그램을 봅니다.TV가 32인치 디스플레이에 우리가 원하는 이미지/비디오를 "생성한다"라고 보면, 리모컨이라는 도구를 통해 어떤 프로그램을 볼지 제어하고 있는 것입니다.VAE는 생성모델(Generative Model)입니다. VAE는 구조적으로 Autoencoder(AE)와 유사하지만, 중요한 차이점은 VAE는 생성을 목표로 하고, 그렇기에 latent space를 제어할 수 있는 "리모컨"을 어떻게 만들지? 를 잘 고민해야 합니다. 반대로 AE는 $z$에 대해 크게 고민하지 않습니다. AE가 하는 일은 단순히 input $X$를 encoding하여 $z$를 만들고, 그 $z$를 decoding 하는 과정만 반복합니다.이와는 다르게, 우..

이 글은 이전 글 [내가 어쩌다 AI 연구자가 되었나] 1. 코린이 에서 이어집니다. Contents1. 그렇게, 본격적으로 컴퓨터를 공부합니다2. 컴퓨터공학과에서 배운 것3. 컴퓨터공학을 시작해봐도 될까요? 그렇게, 본격적으로 컴퓨터를 공부합니다 복학생이 된 저는 본 전공이었던 경제학 수업을 모두 들음으로써 경제학과의 인연을 청산하고(?) 보따리 싸들고 수원으로 갑니다.제 모교인 성균관대학교는 문과캠이 혜화에 있고, 이과캠이 수원에 있었거든요. 혜화에서 다섯 학기를 공부하여 모든 수업을 다 듣고, 네 학기를 수원에 기숙사를 잡고 공부를 합니다. 복수전공생이다보니 뭐 아는 사람도 잘 없었습니다.너가 뭔 컴퓨터냐 이런 말도 많이 들었습니다. 컴공 쉽지 않다. 컴공은 재능의 영역이다. 이런 말들 엄청 들었던..

2014년에 대학을 입학했고, 이제 10년이 다 지나갑니다.저는 경제학 전공으로 학교를 들어갔습니다. 그 당시만 해도 큰 돈을 만지는 딜러를 상상하며 학교를 들어갔던 것 같은데, 지금 저는 컴퓨터 앞에 앉아 있습니다. 친척 형이랑 메이플스토리 같이 하려고 초등학교 때 컴퓨터 한 거 말고는, 딱히 게임 같은 것도 별로 안 좋아 했거든요. 초등학교 5학년 때 처음 메일 주소 만들어봤고, 중고등학교 때 들은 정보과목은 뭐 하는지도 몰라 항상 따라가기에 급급했던 거 같아요. 이 글은 그런 제가 어떻게 컴퓨터 공학을 공부하게 되었는지 이야기하고자 합니다. 동시에 제 초심을 되찾는 과정이기도 합니다. Contents1. 나는 어쩌다 컴퓨터 앞에 앉았나2. 정보체계관리단3. 원동력 나는 어쩌다 컴퓨터 앞에 앉았나음...

어떠한 사건으로부터 얼마나 많은 정보를 우리는 기대할 수 있을까요?Shannon의 Entropy가 그것을 말해줍니다.들어가기에 앞서정보이론 1편의 글 에서 우리는 shannon information content를 다음과 같이 정의하였습니다.$$h(x=a) = log_{2}\frac{1}{p(x=a)}$$어떠한 $a$ 라는 사건이 발생 했을 때, 그 사건이 주는 정보가 얼마나 되는가 (혹은 그 사건이 얼마나 놀라운가 등등)를 $bit$ 단위로 표현해줍니다.날씨 예보집에 누워 날씨예보를 보고 있는 우리 모습을 상상해 봅시다.기상청에서는 우리에게 날씨에 대한 정보를 전달해 주고 있는데요, 기상청이 우리에게 주는 날씨에 대한 정보는 몇 $bit$ 짜리일까요?우선 상황을 단순하게 보기 위해, (1) 기상청이 제..