[PRML] 1.2.6 Bayesian curve fitting (베이지안 곡선 피팅)

1. 개요

 1.2.5 챕터에서 사전 확률 p(w|alpha)를 도입했지만 w에 대한 예측에서는 아직 베이지안을 적용하지 않음. 완전한 베이지안 접근법에서는 확률의 곱셈과 덧셈법칙을 모든 가능한 w에 대해 일관되게 적용해야함. 이러한 주변화 (marginalization)은 패턴인식에 대한 베이지안 방법론의 핵심이다.

 곡선 피팅 문제에서, 훈련데이터 x와 t가 주어졌을 때 새로운 테스트 포인트 x에서 t라는 값을 예측하는 것이 목적이다. 따라서, p(t|x,x,t)라는 예측분포를 평가해야한다. 여기서는, alpha와 beta가 고정되어 있고 미리 알고 있다고 가정하겠다. 추후에 이들 파라미터가 베이지안을 통해 데이터에서 유추할 수 있는지는 다루겠다.

 

2. 내용

• 베이지안 처리는 곱셈과 덧셈 법칙을 적용하여서 예측분포를 수식 1.68과 같이 표현하게 하는 것이다.
  p(t|x,w)는 수식 1.60에 주어지며 alpha와 beta는 수식의 간결성을 위해 생략했다.
  여기서 p(w|x,t)는 파라미터들에 대한 사후확률이며 수식 1.66의 우변을 표준화 (normalizing)하면 얻을 수 있다.

수식 1.66

수식 1.68

• 수식 1.68 또한 분석적으로 적분을 할 수 있으며 결과적으로 가우시안 형태의 예측함수 형태로 나타낼 수 있다.
  이것의 평균과 분산은 각각 수식 1.70과 1.71로 주어진다. 1.71의 첫 번째 값 (first term)은 예측값 t에 대한 불확실성 (uncertainty)를 의미한다. 이 불확실성은 목표 변수 (target variables)에 대한 노이즈로 인한 것이며 beta_ml**-1을 통해 최대 가능도 예측분포 (maximum likelihood predictive distribution, 수식 1.64)를 통해 표현된다. 그러나, 두 번 째 값은 파라미터 w에 대한 불확실성으로 생기며 이것은 베이지안 처리의 결과물이다. 이를 유도하는건 챕터 3까지 읽어야 이해된다. [추후 추가 예정]

수식 1.69

수식 1.70과 1.71

• 여기서 행렬 S (matrix S)는 수식 1.72로 주어진다. 여기서 I는 단위행렬 (unit matrix)이며 벡터 φ(x)는 i = 0, . . . , M 에 대해 φ_i(x) = x**i  로 정의한다. 

수식 1.72

• 인위적인 사인 함수 회귀 문제 (synthetic sinusoidal regression problem)에 대한 예측 분포는 그림 1.17과 같다.

고정된 alpha와 beta일 때, M=9 다항함수를 통한 베이지안 처리로 부터 나타나는 예측 분포. alpha와 beta는 알고 있는 노이즈 편차에 상응한다. 빨간곡선은 예측분포의 평균을 의미하며 빨간색 영역은 평균값으로부터 +/- 1의 표준편차 (standard deviation)를 의미한다.