Tag정보이론

정보엔트로피가 최대가 되는 확률분포가 균일 분포임을 증명

어떤 확률분포 X에 대해 X가 각 값을 가질 확률을 라 하고, 이 X의 엔트로피를 H(X)라 하자.

H(X)는 다음과 같다.

이 H(X)의 최댓값을 찾기 위해서, H(X)의 그라디언트가 0이 되는 조건을 찾자. grad H(X)는 다음과 같다.

위 grad H(X)를 정리해보면, 각 성분의 크기가 0이기 위해서는 모든 i에 대해 다음이 되어야 함을 알 수 있다.

따라서

이므로 모든 확률이 같아야 한다.

반송파 주파수, 대역폭과 전송속도의 관계-정보이론적 해석

정보이론 관점에서 간단하게 반송파 주파수와 전송속도가 관계가 있을지 생각해보자. 정보엔트로피란 어떤 신호가 담고 있는 정보량을 말한다. 쉽게 정리하면, 상대적으로 높은 가능성이 있는 소식을 담고 있는 신호는 정보량이 낮고, 반대로 낮은 가능성의 소식을 담고 있는 신호는 정보량이 높다. 즉, 로또 당첨 번호 같은 극도로 낮은 확률을 가진 정보는 가치가 매우 높은 것이다. 이제, 반송파 주파수 그 자체의 정보량이 얼마일지를 생각해 보자. 반송파는 사인파일 뿐이다. 받는 측도 당연히 그것을 알고 있고, 특정 시간에 어떤 값의 신호가 올지는 예측이 너무나 쉽다. 즉 가능성이 100%인 소식을 담고 있고, 이는 정보량은 0이란 뜻이다. 즉, 반송파 신호 그 자체는 정보량이 0인 아무 의미없는 소식을 전달할...

최근 글

카테고리

태그

최근 댓글