[Naive Bayes Algorithm] 원리, 종류, 주의사항

Naive Bayes Algorithm의 원리

 

E2가 참일 때, E1도 참일 확률 (즉, 조건부 확률)은 아래와 같다.

 

위 원리를 이용하여,

feature X가 만족되었을 때, class Ck일 확률은 아래와 같다.

 

 

이때, 보통 이 feature는 하나가 아니라 여러 개이므로, 이를 반영하면 아래와 같다.

   

          eg) 날씨&온도&습도&바람에 따라 사람들이 테니스를 칠지/안칠지 예측하는 문제

 

 

여기서, Naive Bayes Algorithm은 각 feature가 독립적이라고 가정하므로, 위 식은 아래와 같이 바꿀 수 있다.

아래가  Naive Bayes Algorithm의 최종 공식이다. 

 

 

Naive Bayes Algorithm의 종류

 

✅Gaussian Naive Bayes

변수가 continuous하며 정규분포를 따를 경우

 

✅Multinomial Naive Bayes

변수가 빈도값일 경우

   - eg. 문서 내에서 특정 단어들이 나타나는 횟수

 

text 데이터의 classification task에 잘 활용됨 

 

✅Bernoulli Naive Bayes

변수가 binary한 경우 

 

 

Naive Bayes Algorithm을 사용할 때의 주의사항

 

- 모든 feature가 서로 독립적인 경우에만 올바르게 적용될 수 있다.

- Gaussian naive bayes의 경우, 모든 feature는 정규분포를 따라야 한다.