[PRML] 1. introduction

0. 왜 중요한가?

데이터 내의 패턴을 찾는 것은 가장 근본적인 것이며 긴 역사를 갖는다. 예를들어 케플러가 행성관측을 통해 고전역학 발전의 출발점이 된 사례가 있다.

 

1. 용어들

• Training set : 모델의 매개변수 (parameters)를 조정 (tune)하기 위해 사용되는 데이터 셋
• Target vector : 입력된 변수에 상응하는 정답
• Training phase : learning phase라고도 하며 모델 (f(y))가 조정되어 가는 단계.
• Test set : 학습이 종료된 후에 훈련이 잘됐는지 평가하기 위해 사용되는 데이터 셋
• Generalization : 학습 때 보지 않은 예제들에 대해 올바르게 분류하는 능력.
  훈련데이터는 입력 가능한 경우 중 지극히 일부이므로 패턴 인식에서 generalization은 가장 중요한 목표임.
• Preprocess : 대부분 실제 상황에서 원본 입력 (original input variables)는 효과적인 패턴인식을 위해 새로운 변수 공간으로 재배치됨. 이를 preprocess라고 함. 종종 feature extraction이라고도 불림. 반드시 새로운 Test set은 training set과 동일한 preprocess 과정을 거쳐야함.
  이 과정에서 중요한 정보가 소실되지 않게 주의해야함.

2. 기계학습의 종류

• Supervised learning : Training set이 target vector를 갖는 경우이며 2가지의 문제로 나뉨.
  • Classification : 입력에 대해 분리된 항목 (discrete categories)로 분류하는 문제
  • Regression : 입력에 대해 출력물이 연속적인 값들을 맞추는 문제
• Unsupervised learning : Training set이 명확한 target vector가 없는 경우임.
  • Clustering : 데이터 내에 비슷한 샘플들을 발견하는데 목적을 둠.
  • Density estimation : 주어진 입력 내에 데이터의 분포를 결정함.
  • Dimension reduction : 고차원의 데이터를 2차원 또는 3차원과 같은 낮은 차원으로 투영하는 것.
    책에는 용어가 나오진 않지만 넣어둠.
• Reinforcement learning : 주어진 상황에서 보상을 최대화하기 위해 최적의 행동을 찾는 학습법
  the problem of finding suitable actions to take in a given situation in order to maximize a reward
  
  • supervised learningr과 달리 이경우에는 적절한 출력에 대한 예제가 없음. 다만, 시행착오로 이루어진 과정을 통해 적절한 출력을 발견하는 것이 목적임.
  • 보통, 학습 알고리즘이 상호작용하는 환경에 대해 일련의 상태와 행동이 주어져 있으며 현재의 행동이 즉각적인 보상 뿐만 아니라 이후의 상황에서의 보상에 영향을 줌.
  • 책의 내용에서는 주제를 벗어나므로 다루지 않음.