정보이론 관점에서의 엔트로피란? (마커 기반의 증강현실 분야에 응용)

일반적인 엔트로피의 뜻은 무질서, 불확실성이라는 의미를 가진다.

 정보이론에서의 엔트로피는 동전을 예시로 하여 설명할 수 있다.

앞면과 뒷면을 가진 동전을 던졌을 때, 앞면과 뒷면이 나올 확률이 완전히 같다면, 엔트로피는 1이 된다. 앞면과 뒷면 둘중에 어떤 면이 나올지 전혀 예측할 수 없다는 불확실성이 존재한다.

 여기서 앞면 또는 뒷면 둘중에, 한쪽 면이 나올 확률이 더 높다면, 엔트로피는 1보다 작아지게 된다. 특정 면이 나올 확률이 더 높으며, 그 말인 즉 이를 예측하여 맞출 수 있는 확률이 더 높아졌기 때문에 불확실성이 줄어들었다고 볼 수 있다.

정보 엔트로피는 불확실성(영어: uncertainty)과 같은 개념이라고 인식할 수 있다. 불확실성이 높아질수록 정보의 양은 더 많아지고 엔트로피는 더 커진다. 한편, 정보 엔트로피가 커지는것은 역시 변수(불확실성)가 증가하는 것을 의미하므로, 변수를 제어함으로서 불확실성이 줄어드는 것은 결국 정보 획득을 의미하게 된다.

따라서, 정보 획득을 증가시켜 불확실성을 감소시키는것은 변수가 줄어드는것으로 볼수있는데 이것은 결과적으로 엔트로피의 크기를 감소시는 정보 이득과 관계있다.

엔트로피를 다시보면, 이렇게 말할 수 있다.

어떤 정보를 나타낼 수 있는 최소한의 비트수

즉, 엔트로피라는 개념은 영상처리 또는 통신분야 등에서 어떤 성능을 평가하는 기준이 될 수 있다.

예를들어 영상압축에서 무손실 압축이라 하면, 정보의 손실없이 데이터의 크기를 줄이는 압축인데, 이 경우에 엔트로피 개념을 도입하여 해당 영상정보가 가지는 엔트로피보다 작아질 수 없다. 무손실 압축은 정보를 손상시키지 않아야하는데, 해당 정보들을 최소한의 비트수로 표현함으로서 압축을 구현한다고 볼 수 있기 때문이다. 물론 손실 압축의 경우, 정보의 양이 줄어들기 때문에 엔트로피가 원본영상정보의 엔트로피보다 작아질 수 있다.

엔트로피의 수식은 다음과 같다.

실제로 동전이 앞뒤가 서로 다른 면인 경우에 대한 엔트로피를 구해보면,

-(0.5 * log2^0.5) -(0.5 * log2^0.5) = 0.5+0.5 = 1 이라는 값을 얻어낼 수 있다.

이에 기반하여, 단일 영상에 대해 특징점들이 분포해 있는 map을 구하고, 좌표정보들에 대한 엔트로피를 구할 수 있다.

x축 방향, y축 방향에 대해 각각의 엔트로피를 구하게 되면 각 축에 대해 엔트로피가 작을수록 특징점이 영상의 한쪽에 몰려있다고 할 수 있다. 또한, 엔트로피가 클 수록 특징점이 영상에 전반적으로 고루 퍼져있다고 할 수 있다.

실제 해당 수식에 이미지 I의 특징점들을 적용하면 다음과 같이 표현할 수 있다.

해당 수식의 결과에 의해, 한 영상의 X좌표와 Y좌표에 대한 엔트로피 수치에 따라, 특징점이 기하학적 관점에서 어떻게 분포했는지를 전반적으로 파악할 수 있으며, 실험적인 결과로는 엔트로피 수치가 0~2인 경우, 굉장히 빈약한 특징점을 가지거나, 한쪽에 몰린 영상일 가능성이 많으며, 2~4 사이의 엔트로피를 가지는 영상은 특징점들이 전반적으로 고르게 분포했다고 볼 수 있다. Y축이나 X축 둘중 하나의 엔트로피가 낮게 나온다면, 해당 축에 대해 한쪽 영역으로 특징점들이 쏠려있다고 볼 수 있다.

이러한 엔트로피 분석을 통해 필자는 마커기반의 증강현실에서, 마커로 사용될 이미지가 마커로서 어느정도의 성능을 가질지에 대한 평가기준 데이터로 사용하기로 하였다. 엔트로피 수치에 따라 낮은 엔트로피를 기록하는 이미지의 경우 한쪽에 특징점이 몰려있는 특징을 가지기때문에, 어클루젼 현상(가려짐 현상)에 굉장히 취약하여 트래킹 성능에 문제를 야기할 수 있으므로, 이를 이용하여 특정 이미지에 대한 평가를 할 수 있을 것이라 판단하였다.

증강현실에서의 마커 평가와 관련하여 더 많은 정보를 원한다면, vuforia 사이트의

https://library.vuforia.com/articles/Solution/Optimizing-Target-Detection-and-Tracking-Stability.html

링크로 들어가면 마커 평가와 관련하여 많은 힌트를 얻을 수 있다.