정보 이론에서 말하는 엔트로피는 무질서가 아닌 놀람의 척도다

정보 이론에서 엔트로피는 단순히 무질서를 뜻하지 않습니다. 이는 어떤 사건이 일어날 때 우리가 얼마나 놀랄지를 측정하는 지표로, 결과가 뻔한 정보일수록 엔트로피는 낮고 예측 불가능할수록 정보량은 커집니다.

흔히 엔트로피는 혼란스러움을 의미한다고 생각하지만 정보 이론에서는 데이터의 가치를 측정하는 도구로 쓰입니다. 예를 들어 내일 해가 뜨는 것은 누구나 아는 사실이라 정보 가치가 낮지만, 예상치 못한 돌발 상황은 정보량이 매우 높습니다. 이렇게 엔트로피는 정보 전달의 효율성을 계산할 때 필수적으로 사용됩니다. 우리가 디지털 기기로 압축 파일을 만들거나 데이터를 전송할 때 사용하는 모든 기술이 바로 이 원리를 기반으로 합니다.