Be Geeky

메트로폴리스-헤이스팅스 알고리즘 (Metropolis-Hasting Algorithm)은 사후분포를 analytic하게 구하기 어려울 때 사용하는 방법이다. 이 알고리즘의 기본 아이디어는 마코프 체인의 정상분포가 사후분포인 f(x)가 되도록 마코프 체인을 생성하는 것이다. 그렇다면 마코프 체인과 정상분포란 무엇일까?

앞에서, 디리슐레 분포와 다항분포의 켤레관계에 대해서 살펴보았다. 디리슐레 분포는 고정된 k개의 클러스터 (선택지)에 대한 확률을 모델링하는 분포로 사전분포로 쓰였다.,디리슐레 과정 (DP; Dirichlet Process)은 디리슐레 분포의 무한대 확장판으로, 고정되지 않은 클러스터에 대한 확률을 모델링하는 분포이다. 명확한 정의는 다음과 같다.

디리슐레 분포는 다항 분포의 켤레 분포