세상 모든 정보의 압축 한계점을 결정하는 콜모고로프 복잡도

데이터의 본질적인 크기는 정보를 생성하는 가장 짧은 프로그램의 길이로 결정됩니다. 무작위로 보이는 데이터도 알고리즘적으로 분석하면 숨겨진 규칙성을 찾아내 압축할 수 있습니다.

우리는 보통 파일의 용량을 데이터의 양으로 생각하지만, 정보 이론에서는 이를 생성해내는 최소한의 규칙을 진짜 크기로 봅니다. 아무리 긴 숫자 나열이라도 규칙만 찾아내면 짧은 명령어로 대체할 수 있기 때문입니다. 반대로 어떤 규칙도 찾을 수 없는 무작위 데이터는 압축이 불가능하며, 그것이 그 데이터의 진짜 복잡도가 됩니다. 이 개념은 우리가 데이터를 이해하고 효율적으로 저장하는 방식의 근간을 이루고 있습니다.