본문 바로가기

DeepLearning/Pattern recognition and Machine learning

[PRML] 1.2.2 Expectations and covariances (기대값과 공분산)

728x90
반응형

1. 개요

  • 확률과 관련된 가장 중요한 작업 중 하나는 함수의 가중 평균 (weighted averages)을 찾는 것입니다.

2. 내용

  • 어떤 함수 f(x)가 확률분포 p(x)를 따를 때의 평균값은 f(x)의 기대라고 불리며 E|f|로 표기할 수 있습니다. (수식 1.33)
    아래 수식과 같이 x의 다른 값들의 상대적인 확률로 평균값이 가중됩니다.

수식 1.33

  • 연속적인 변수의 경우 기대값은 상응하는 확률 밀도에 대한 적분값으로 표현될 수 있습니다. (수식 1.34)

수식 1.34

  • 어느 경우이든, 어떤 확률분포 혹은 밀도에서 유한한 수로 N개의 관측값을 얻는다면, 이것들의 기대값은 그 값들의 유한한 합으로 근사 (approximated)될 수 있습니다. (수식 1.35)
    이것은 챕터 11에서 샘플링 방법들에 대한 내용을 소개할 때 많이 사용할 것입니다. 이것의 근사값은 N이 무한대로 가면 정확해집니다.

수식 1.35

  • 종종, 몇 가지 변수들의 함수에 대한 기대값을 고려해야할 때가 있습니다. 이 때, 우리는 어떤 변수가 평균으로 규정될지를 첨자 (subscript)로 나타낼 수 있습니다.
    예를 들면 수식 1.36은 같이 x의 분포에 대한 f(x,y) 함수의 평균을 의미합니다. 여기서 E_x[f(x,y)]는 y의 함수가 됩니다.

수식 1.36

  • 조건부 분포에 대한 조건부 기대 (conditional expection)를 고려할 수 있습니다. 수식 1.37은 연속/이산 변수들 모두에 동일하게 정의됩니다.

수식 1.37

  • f(x)의 분산 (variance)는 수식 1.38과 같습니다. 이것은 평균값 (E[f(x)])에서 함수 f(x)가 얼만큼의 다양성 (variability)가 있는지를 정량합니다. 수식 1.38은 수식 1.39로도 표현 가능합니다.

수식 1.38
수식 1.39

  • 변수 x에 대한 분산은 위의 수식들과 동일하게 정의됨. 2개의 무작위 변수 x와 y에 대해서는 공분산 (covariance)는 수식 1.41과 같이 정의됨. 이것은 x와 y가 어떻게 함께 변하는지를 표현함. 만일 x와 y가 독립관계라면 공분산은 사라지게 됨.

수식 1.41

  • 만일 x와 y가 벡터라면 공분산은 행렬로 표현됨.

수식 1.42

  • 만일, 벡터 x의 구성요소들의 공분산을 고려한다면 위의 표기법보다 조금 간단한 표기법을 사용함.

벡터 x의 공분산을 나타내는 표기. triple bar는 동일하다 (identical to)를 의미한다.

728x90
반응형