모델은 문장 뒤에 숨겨진 의미를 어떻게 분석적으로 재구성할 수 있을까요?

Research Interest 에서 말했듯 나는 모델이 문서를 통해 학습할 때 언어적 패턴을 배우기 보다 그 내용을 이해하게 하고 싶다. 인간이 언어를 배우는 자료와 지식 자료를 구분해 생각하는 것처럼 말이다. 우리는 위키피디아 페이지를 읽으면서 영어공부를 한다고 느끼진 않는다. 언어를 배웠다는 것은 언어를 구사할 수 있는 것 뿐만 아니라 언어를 통해 전달하고자 하는 내용 또한 전달받을 수 있어야 하는 것이다.

어떤 이들은 이 open-ended 문제를 next-token prediction 문제로 재구성하여 함수로써 모델을 근사할 수 있도록 reframing 을 했다. 이는 문제를 최적화 문제로 변환시킨 영리한 문제 재정의인 한편, 이를 통해 우리 지능의 많은 부분을 간과하게 되는 맹점을 지니게 되었다. 우리의 두뇌는 함수처럼 수동적으로 작동하는 게 아니라 그보다 더 자주적인 판단능력을 가진다. 내적 욕구에 따라서 생각을 이어나가고, 때로는 판단을 내린다.

사고 모델을 ‘사고 도구’ 로 간주하는 현시류는 유용성 측면에서 지능을 바라보게 한다. 이 모델들에는 우리가 사고할 때 직접적으로 느끼는 ‘골똘히 생각하는’ 인상, 흔히 쓰는 사고흐름법 등을 간과하고 그 너머의 결과적 사고를 모방하려 한다. 이러한 모든 직관적 경험을 부정하고 그에 따른 지능적 결정을 모방하려고 노력하는 것은 인간의 지능을 외부화하는 것과는 다소 동떨어져 있다.