따로 계산할수록 더 틀리는 역설적인 수학의 세계

여러 개의 데이터를 따로따로 계산하는 것이 항상 최선은 아닙니다. 찰스 스테인은 세 개 이상의 데이터를 동시에 추정할 때, 개별적으로 계산하는 것보다 합쳐서 계산하는 방식이 평균적으로 더 정확하다는 사실을 증명했습니다.

직관적으로는 데이터마다 각각 정확한 값을 구하는 것이 더 유리할 것 같지만, 수학의 세계에서는 전체의 평균을 고려할 때 오류가 오히려 줄어드는 현상이 발생합니다. 이를 스테인의 예시라고 부르며, 1955년 발표 당시 통계학계에 큰 충격을 주었습니다. 이 발견은 독립적인 추정 방식이 항상 최선이라는 기존의 믿음을 깨뜨렸습니다. 오늘날 이 원리는 빅데이터 분석과 정밀한 통계 추정 기법의 기초가 되었습니다.