통계, IT, AI

1. 개요 최근에 두가지 베이즈 문제에 대해서 생각할 기회가 있었다. 하나는 몬티홀 문제를 베이즈 룰을 사용하여 증명하는 것이었고 또 하나는 간단한 베이즈 문제였다.2. 몬티홀 문제 몬티홀 문제는 아주 널리 알려진 확률론 문제로 확률과 직관이 항상 일치하지는 않는다는 예시이다. 진행을 위해 문제를 간단히 소개한다. 3개의 커튼 뒤에 염소 두마리와 스포츠카 한대가 있다. 도전자는 스포츠카가 어디에 있는지 모른다. 도전자가 3개의 커튼 중 하나를 선택하면, 스포츠카의 위치를 알고 있는 사회자가 염소가 있는 커튼을 열고 도전자에게 커튼을 바꿀 기회를 준다. 그렇다면 도전자는 선택을 바꾸는 것이 유리할까? 답은 "그렇다"라는 것이 잘 알려져 있다. 왜 그럴까? 나는 그 답을 베이즈 정리를 사용하여 유도해보고 싶..

1. 개요 나이브 베이즈는 베이즈 정리를 사용하는 확률 분류기의 일종으로 특성들 사이에 독립을 가정한다. 이론이 어렵지 않고 구현이 간단하며 "나이브"한 가정에도 불구하고 여러 복잡한 상황에서 잘 작동하기 때문에 다양한 분야에서 사용되고 있다. 독립변수에 따라 여러가지 모습을 가지지만 이번 포스팅에서는 어떤 메시지가 스팸(spam)인지 또는 정상(ham)인지 분류하는 문제만 고려한다. 2장에서는 나이브 베이즈 분류를 이해하기 위한 배경 지식을 간단하게 훑어보고 3장에서 나이브 베이즈가 어떤 식으로 작동하는지 살펴본다. 4장에서는 나이브 베이즈를 실제 데이터에 적용하여 텍스트 메시지를 분류해본다. 2. 배경 지식 2.1. 베이지안 통계 베이지안 통계에서는 모수 \(\theta\)가 고정된 값을 가지지 않고..