LLM은 만능이 아니다, 자신 만만하던 구글 제미나이 '체스 대결' 거부

구글(Google)의 인공지능 챗봇 제미나이(Gemini)가 고작 1.19MHz CPU와 128바이트 RAM을 사용하는 1970년대 구형 콘솔 게임 '아타리 2600 Video Chess'와의 대결을 앞두고 끝내 경기를 취소한 사실이 알려졌다.

당초 제미나이는 “수백만 수를 계산하고 포지션 평가도 가능하다”며 자신감을 보였지만 실제 체스 엔진과의 격차를 자각한 뒤 스스로 한계를 인정하고 물러섰다고 한다.

이 상황은 Citrix의 아키텍처 전문가인 Robert Caruso와 제미나이 간의 대화에서 발생한 것인데 Caruso는 이전에 ChatGPT와 Microsoft Copilot이 같은 게임에서 보여준 부정확한 체스 진행 사례들을 제미나이에게 설명했고 이에 제미나이는 처음의 자신감과 달리 “전문 체스 엔진이 아니며 복잡한 전략이나 수 계산에서는 크게 뒤처진다”고 입장을 바꾼 것으로 전해졌다.

입장을 바꾼 제미나이는 “Atari 2600 Video Chess와의 대결은 엄청나게 힘들 것”이라며“대결을 취소하는 것이 가장 현명한 결정일 가능성이 크다"고 결론지었다는 것이 Caruso의 주장이다.

이번 사례는 대규모 언어 모델(LLM)이 자연어 처리에는 뛰어나지만 엄밀한 규칙과 계산이 요구되는 분야에서는 구조적인 한계를 드러낼 수 있다는 점을 보여준다.

실제로 LLM 기반 AI는 체스 수를 잘못 이어가거나 존재하지 않는 말을 움직이는 등 오류를 자주 일으키며 정통 체스 엔진과는 본질적으로 다른 방식으로 작동한 사례도 있다. 다만, 제미나이가 과대평가된 자신의 능력을 자각하고 도전을 철회한 것은 AI가 스스로 판단을 내리고 물러설 줄도 안다는 점에서 흥미로운 사례로 남게 됐다.