인공지능이 방금 했던 말을 더 잘 기억하는 이유
캐시 언어 모델은 이미 등장했던 단어에 더 높은 확률을 부여합니다. 인공지능도 우리처럼 문맥 속에서 반복되는 단어를 더 쉽게 예측하는 일종의 단기 기억 장치를 사용하는 셈입니다.
언어 모델은 다음에 올 단어를 확률로 계산하는데, 캐시 모델은 이 과정에서 최근에 사용된 단어 목록을 일시적으로 저장해 둡니다. 대화나 글에서 단어는 반복되는 경향이 강하기 때문에, 이 캐시를 활용하면 인공지능이 훨씬 더 자연스럽고 정확하게 문장을 완성할 수 있습니다. 덕분에 음성 인식이나 번역기에서 인공지능이 엉뚱한 단어를 고를 확률이 비약적으로 줄어듭니다. 우리의 뇌가 방금 들은 단어를 기억했다가 대화를 이어가는 원리와 무척 닮아 있습니다.