[PRML] 1.5. Decision Theory (결정 이론)

1. 개요

 섹션 1.2에서 불확실성을 정량하고 조절하는 일정한 수학적 프레임워크를 확률이론이 어떻게 제공하는지 다루었다. 여기서는, 확률이론과 결정이론이 패턴인식에서 마주치는 불확실성과 관련된 상황들에서 어떻게 적절한 결정법을 제공하는지 다루겠다.

 

2. 내용

• 입력 벡터 x와 목표 벡터 t 에 대해 새로운 x가 죽어지면 t를 예측하는게 목적인 상황을 가정해보자. 회귀 문제라면 t는 연속적인 값들일 것이고 분류문제라면 클래스 라벨로 이루어질 것이다. 결합 확률 분포 p(x,t)는 이러한 값들에 관련된 불확실성의 완전한 요약본을 제공한다. p(x,t)를 훈련데이터에서 결정하는 것은 유추 (inference)의 예이며 이것은 이 책의 대부분의 주제에서 다루는 어려운 문제이다. 
• x-ray 이미지 분석에서 환자가 암을 갖는지 아닌지 판단하고 싶다고 가정해보자. 이 경우 입력 벡터 x는 이미지의 픽셀 강도일 거싱고 t는 종양의 존재에 대해 나타낸다. 존재하지 않을 때는 c2이라 하고 존재할 때는 c1이라 하자. 이 경우 우리는 t=0과 t=1로 둘 수 있을 것이다. 나중에 보겠지만 0과 1로 두는게 확률모델링에서 편하다. 일반적인 유추 문제는 결합분포 p(x,ck) 또는 p(x,t)라고 할 수 있다. 이것은 이 상황에서 가장 완전한 확률적 설명을 제공한다.
• 이러한 확률표기법은 매우 유용하지만 결국 환자에게 처방해야할지 안할지를 결정해야한다. 이것이 결정 (decision) 단계이며 어떻게 적절한 확률들에 대해 최적의 결정을 할지에 대한 결정이론의 한 주제이다.
• 상세한 분석 전에 앞의 x-ray 이미지에서 예를 계속 들겠다. x-ray 이미지 x를 새로운 환자에 대해 얻을 때 우리의 목적은 해당 이미지가 어던 클래스에 속하는지를 결정하는 것이다. 각 클래스에 속할 확률은 p(Ck|x)로 표기할 수 있으며 베이즈 정리에 따라 수식 1.77과 같이 표현된다.

수식 1.77

• 알아둘 점은 베이즈 정리에서 나타나는 모든 정량값 (quantities)들은 결합 분포 p(x,Ck)로 나타나며 이것은 적절한 변수들에대한 주변화 (marginalizing) 또는 조건부 (conditioning)를 통해 얻을 수 있다.
  이제 p(Ck)는 클래스 Ck에 대한 사전확률로 해석할 수 있고 p(Ck|x)는 사후확률이 된다. 따라서, p(C1)은 x-ray 측정 전에 어떤 환자가 암을 가진 확률이 된다. 이와마찬가지로, p(C1|x)는 X-ray를 얻은 후에 그 사람이 암에 걸렸는지 판단하는 확률이 된다.
• 만일 우리의 목적이 x를 잘못된 클래스에 지정하는 것을 최소화 하는 것이라면, 직관적으로 우리는 사후확률을 높이는 것으로 클래스를 선택할 것이다. 이러한 것이 옳다는 것은 추후 좀 더 논의하겠다.