[PRML] 2.2.1 The Dirichlet distribution (디리클레 분포)

1. 개요

  앞서봤던 수식 2.34의 다항분포의 파라미터 {u_k}에대한 사전확률 중 하나인 디리클레 분포 (Dirichlet distribution)를 살펴보겠다.

수식 2.34

 

2. 내용

• 다항분포의 형태를 탐구하면 결합 사전 분포 (conjugate piror)는 수식 2.37로 주어지는 것을 볼 수 있다.
  여기서 0 <= u_k <=1 그리고 u_k의 총합은 1이다. a_1,...,a_k는 분포의 파라미터들로 a 는 (a_1,...,a_k)T이다. 알아둬야할 사항으로는 총합 제한 (the summation of constraint) 때문에, {u_k}의 공간에 대한 분포는 K - 1차원의 심플렉스 (simplex)에 제한된다는 것이다. 이는 그림 2.4의 K=3에서 볼 수 있다.
  심플렉스 (simplex) : 기하학에서 심플렉스라는 개념은 인위적인 공간들에서 삼각형 또는 테트라헤드론 (tetrahedron)의 개념을 일반화하는 것을 의미한다. 이것은 어떤 주어진 차원에 대해 가장 단순한 폴리토프 (the simplest possible polytope)를 나타낸다. 구체적으로 k-simplex는 k차원의 폴리토프인데 K+1개의 꼭지점들의 컨벡스 훌 (convex hull)이다.

수식 2.37

그림 2.4. 세가지 변수 u_1, u_2, u_3에 대해 조건 0<=u_k<=1과 u_k의 총합은 1이라는 제약을 걸었을 때 만족하는 심플렉스

• 이 분포의 표준화된 형태 (normalized form for this distribution)은 수식 2.38로 나타내며 이것이 디리클레 분포 (Dirichlet distribution)이다. Γ(x)는 감마 함수 (gamma function)으로 수식 1.141에 정의되어 있고 2.39를 만족해야한다. a_k에 대한 다양한 셋팅들에 대한 심플렉스의 디리클레 분포는 그림 2.5와 같다.

수식 2.38

 

수식 2.39

수식 1.141 감마 함수

그림 2.5 세 가지 변수들에 대한 디리클레 분포, 2개의 평행한 축들은 심플렉스의 면의 좌표들이며 수직선들은 해당 값의 밀도를 의미함 {a_k} = 0.1은 왼쪽이고 {a_k} = 1은 중앙이며 {a_k} = 10은 오른쪽에 있다.

 

• 사전분포 (2.38)을 가능도 함수 (2.34)로 곱셈을 하면, u_k에 대한 사후확률 분포를 수식 2.40으로 얻을 수 있다.

수식 2.40

• 사후확률은 디리클레 분포의 형태를 가지는 것을 볼 수 있다. 디리클레 분포는 실제로 다변량에대한 결합 사전확률이다. 이것은 수식 2.38과의 비교를 통해 표준화 상수 (normalization coefficient)를 결정하는 것을 가능하게 한다. 수식 2.41에서 m = (m_1,....,m_k)T 이다. 베타 사전 분포 (beta prior)에 대한 이항분포의 경우, 디리클레 사전분포의 a_k를 x_k=1이라는 관측값의 효과적인 숫자 (an effective number of observations of x_k=1)로서 해석할 수 있다.

수식 2.41

• 알아둘 점은 2개의 상태량 (two-state quantities)는 이진 변수로서 표현되어 이항분포 (2.9)로 모델링 되거나 혹은 1-of-2 변수들로서 K=2라는 다변량 분포 (multinomial distribution, 2.34)로 모두 표현이 가능하다.