정보이론 : 엔트로피(Entropy)의 개념 - 1

<디지털 통신의 엔트로피(Entropy)의 개념-1>

본 글은 2010년에 최초 작성되고, 2018년 10월에 수정되었습니다.

정보이론과 디지털 통신에 있어서, 가장 중요한 개념은 바로 엔트로피(Entropy)입니다. 

이 개념은 C. E. Shannon이 그의 논문 "A Mathematical Theory of Communication"에서 1948년에 처음으로 수식화한 개념으로, 

보통은 열역학 법칙에 나오는 단어이고, 통계열역학에서는 무질서한 정도를 나타내는 개념이지만,

디지털 통신에서는 조금 의미가 다릅니다. 실제로 Shannon 은 통계열역학에서 사용되는 Entropy 의 개념과 정보이론에서의 개념 및 수학적 표현방법의 유사성을 감안하여, 그 이름을 차용하였습니다. (물리적 의미가 동일하지는 않습니다)

정보이론에서의 엔트로피는  어떠한 사건(event)을 정의할때, 그 사건이 가지는 불확실성(Uncertainty)를 수치화 한것입니다. 

예를 들어서 생각해보겠습니다. 

1)지구 표면에 공기가 있다는 사실은 누구나 알고있는 자명한 사실입니다. (이것이 과학적으로 반드시 그렇게 되어야 한다는 의미는 아닙니다) 

"지금 우리 주위에는 공기가 있다" 라는 문장이 가지고 있는 불확실성은 어느정도일까요?

답은 0입니다. (적어도 현재상태로는) 자명하기 때문입니다. 그렇다면, 우리는 이 이벤트 (지구에 있는 공기) 를 통해서 새로 얻어낼수 있는 정보가 아무것도 없습니다. 

2)동전이 하나 있다고 가정합니다.. 동전을 던지면 앞면이 나올지, 뒷면이 나올지 던져보기 전에는 아무도 알수 없습니다. 

그렇다면 "동전을 던져서 나오는 면"이라는 사건이 가지고 있는 불확실성은 어느정도 일까요? 2)번에 대한 답을 바로 하기는 쉽지않습니다. "앞면이 나올수도 있고, 뒷면이 나올수도 있지요"라고 답하기는 쉬워도, "불확실성"이 어느정도냐 라고 질문했을때는 "불확실성"을 무엇으로 측정하느냐에 따라 답이 다르기 때문입니다. 따라서 우리는 이 이벤트 (동전던지기)에 대해서 각 면이 나올 확률값을 제외하고는 아무것도 사전에 알 수 없습니다. 즉, 실제 동전을 던진 이후에 결과를 관찰해야지만 정확한 값을 파악할 수 있습니다. 따라서, 거꾸로 말하면 동전던지기에 대해서 우리가 "얻을 수 있는" 정보가 "매우 많을 수 있다"고 볼 수 있습니다. 

위의 두가지 예를 통해서 알 수 있는 것은 아래와 같이 정리할 수 있겠습니다. 

"불확실성은 곧 정보이다"

Shannon이 정의한 엔트로피는, 바로 이 불확실성을 정량화 하여, 거꾸로 정보량을 측정할 수 있는 방법을 제공합니다. 

즉, 엔트로피는 바로 

불확실성 ---------------> 실수 (Real number)

로 대응하는 "함수"를 제공합니다. 

그럼 여기서 중요한 것은, 이 함수를 어떻게 만들것인지? 에 대한 답입니다. 어떤 근거로 함수를 결정할 수 있을까요? 

함수를 만드는데 사용할 수 있는 데이터를 기반으로 만들수 있을까요? 이런 방법은 쉽지 않습니다. 어떤 수치를 정량화하여 불확실성을 표현할지 정해지지 않았는데,  그 용도에 맞는 데이터를 만드는것 자체가 쉽지 않습니다. 

Shannon이 이를 위해 사용한 방식은 상당히 상식적인 방법을 사용합니다. 즉, 공리적 접근을 시도합니다. 수학이 공리를 바탕으로 논리체계를 형성하듯이, Shannon은 증명이 필요없는 단순한 명제들을 기반으로 엔트로피를 창안해냅니다. 

알기쉽게 설명하면 아래와 같은 방식으로 이해할 수 있습니다. 

1) 불확실성이 과연 음수 (-)가 나올수 있을까? 우리 주위에서 일어나는 불규칙한 일들이 과연 음수의 개념에 대응하는가.

-> 답은 0과 같거나 0보다 커야만 할것입니다. 음수의 불규칙함은 정의하기 어렵습니다.  

2) 불확실성이 크면 클수록 그것을 수치화 했을때 그 값은 커져야만 하는가?

-> 간단하게 생각해보면 위의 예를 보았을때 우리 주위에 공기가 있다라는 불확실성이 0인 사건은 굳이 설명할 필요가 없습니다. 하지만, 동전이 앞면이 나올지 뒷면이 나올지에서는 어떠한 설명이 필요합니다. 그럼 불확실성이 커지면 커질수록 어떻게 될까요? 예를 들어, 동전이 아니라 주사위라면, 6개의 면중에 하나가 등장할 확률에 대해서 각각 설명해야 합니다. 따라서, 불확실성이 커질 수록 불확실한 결과들에 대한 부연설명이 점점 늘어나게 될것입니다.. 이러한 상식적인 생각을 수치화한다고 했을때, 불확실성이 클수록 수치화된 불확실성의 값은 점점 커질수밖에 없다고 볼수 있습니다.

3) 서로 완전히 독립적인 사건의 불확실성을 한번에 수치화 할때, 각각의 불확실성을 수치화 한 값을 더하는 것으로 가능한것인가?

-> 위의 예를 바탕으로 질문을 다음과 같이 한다고 생각해보겠습니다.

" 지금 주위에 공기가 있나요? 이 동전을 던지면 앞면이 나올까요 뒷면이 나올까요?"

답 : "네 공기가 있습니다. 그런데 앞면이 나올지 뒷면이 나올지 모르겠네요."

보통 이런 문답이 가능할 것입니다. 위의 답변을 보면, 두 질문에 대한 각 답변간에 연관성이 전혀없습니다. 즉, 완전히 구별된 두개의 문장으로도 답을 할 수 있다는 것입니다. 

따라서, 3)의 질문에 대해서는 "Yes"라고 할 수 있겠습니다.

4) 불확실성이 매우 큰 사건과, 불확실성이 그보다 조금 적은 사건의 불확실성의 차이는 불확실성에 비례해서 커져야 하는가?

-> 이 말은 조금 어렵게 비춰질수도 있는데, 주사위와 동전의 차이를 생각해보겠습니다.

각각의 불확실성을 설명한다고 하면,

동전 : 앞면이 나올수도 있고, 뒷면이 나올수도 있죠. - 2가지 가능성

주사위 (6면) : 1이 나올수도 있고, 2가 나올수도 있고, …., 6이 나올수도 있죠. - 6가지 가능성

즉, 동전의 불확실성을 설명하기 위해서는 2가지 문장이 필요하고, 주사위를 위해서는 6가지 문장이 필요합니다..

그럼 18면짜리 주사위가 있다고하고, 22면짜리 주사위가 있다고 가정해보겠습니다

주사위 (18면) : 1이 나올수도 있고, …, 18이 나올수도 있죠. - 18가지 가능성

주사위 (22면) : 1이 나올수도 있고, …, 22가 나올수도 있죠. - 22가지 가능성

첫번째 동전과 6면 주사위의 비교에서는 가능성의 차이는 4였습니다.. 두번째도 가능성의 차이는 4였습니다.

하지만, 6가지 가능성인 6면주사위와 비교할때 그 가능성의 차이는 4/6 으로 약 66%의 비중을 보입니다.

하지만, 22가지 가능성인 22면 주사위와 비교할때는 그차이가 4/22로 약 18%의 비중을 차지합니다..

즉, 불확실성의 증가량이 동일해도 , 절대적인 불확실성이 커질수록 전체 불확실성의 크기에 대한 비중은 줄어듭니다. 

위의 네가지 점에 대해서 고민을 해보면, 위의 네가지 고찰을 만족시키면서 불확실성과 실수를 이어주는 함수의 형태가 어떤 형태여야 하는지 고등학교 이상의 수학을 다뤄본 사람이라면 그리 어렵지 않게 결론이 나올수 있을것입니다.. 답은 바로 로그함수(Log function)입니다.