컴퓨터는 언어를 이해하지 못한다: 코드가 숫자로 바뀌는 마법

컴퓨터가 소스 코드를 읽을 때, 인간처럼 언어를 이해하는 것이 아니라 문장을 의미 단위로 잘게 쪼개어 단순한 숫자 덩어리로 변환하는 과정을 거친다.

코딩 과정의 첫 단계인 어휘 분석은 문법에 따라 코드를 토큰이라는 작은 조각으로 분리하는 작업입니다. 우리가 작성한 복잡한 프로그래밍 언어도 결국 기계에게는 의미 없는 단어들의 나열일 뿐입니다. 인공지능 모델은 여기서 한 발 더 나아가 이 토큰들을 숫자로 완벽히 변환해 통계적으로 처리합니다. 결국 프로그래밍의 핵심은 인간의 언어를 기계가 이해할 수 있는 수학적 체계로 번역하는 정교한 설계에 있습니다.