사실만으로도 거짓 이야기를 만들 수 있다

AI의 오류를 말할 때 가장 자주 등장하는 표현은 ‘환각’이다. 존재하지 않는 논문을 만들어내거나, 실제로 하지 않은 말을 인용하거나, 틀린 날짜와 수치를 그럴듯하게 말하는 경우다.

하지만 더 까다로운 문제는 사실 자체가 틀리지 않았을 때 발생한다.

각각의 정보는 모두 사실일 수 있다. 사건도 실제로 있었고, 논문도 존재하며, 인물의 발언도 실제일 수 있다. 그런데 그 사실들을 연결하는 방식이 잘못되면 전혀 다른 이야기가 만들어진다.

거짓은 반드시 거짓으로 만들어질 필요가 없다.

사실만 골라내고, 그 순서를 바꾸고, 관계를 새로 부여해도 하나의 거짓 서사를 만들 수 있다.

이 점에서 움베르토 에코의 『푸코의 진자』는 흥미롭다.

소설 속 인물들은 기사단, 카발라, 비밀결사, 역사적 사건과 문헌을 끌어모아 하나의 거대한 ‘계획’을 만들어낸다. 중요한 것은 그 계획을 구성하는 모든 재료가 순전히 허구라서 문제가 되는 것이 아니라는 점이다.

오히려 진짜 역사와 진짜 문헌, 실제로 존재했던 사건들이 섞여 있기 때문에 이야기는 더 그럴듯해진다.

그리고 그 자료를 조합하는 컴퓨터의 이름이 ‘아불라피아’다.

13세기의 아브라함 아불라피아는 문자의 배열과 치환을 통해 그 안에 숨겨진 의미에 접근하려 했다. 에코는 그 이름을 컴퓨터에 붙였다. 문자를 조합하던 아불라피아가 정보와 역사를 조합하는 기계로 다시 등장한 셈이다.

문제는 조합이 늘어날수록 의미도 함께 만들어진다는 데 있다.

서로 무관한 사건도 충분히 많은 연결고리를 붙이면 하나의 흐름처럼 보일 수 있다. 우연은 징후가 되고, 반복은 패턴이 되며, 패턴은 결국 하나의 서사로 굳어진다.

오늘날의 LLM도 이와 비슷한 일을 매우 잘한다.

서로 다른 논문과 사건, 산업의 변화와 인물의 발언을 한데 놓고 공통점을 찾으라고 하면 AI는 자연스럽게 하나의 설명을 만들어낸다. 각각의 자료는 실제일 수 있다. 문제는 그 사이에 AI가 제시한 관계까지 실제라는 보장은 없다는 점이다.

존재하지 않는 논문을 만들어내는 환각은 오히려 확인하기 쉽다. 검색해보면 없기 때문이다.

더 어려운 것은 자료가 모두 진짜일 때다.

논문도 존재하고, 사건도 있었고, 인용도 정확하다. 그런데 그 사실들을 묶어 만든 인과관계와 해석만 틀릴 수 있다.

이런 오류는 훨씬 발견하기 어렵다.

설명이 매끄럽기 때문이다. 근거도 충분해 보이고, 이야기의 앞뒤도 맞는다. 오히려 사실이 많이 포함될수록 전체 서사는 더 신뢰할 만하게 느껴질 수 있다.

『푸코의 진자』가 보여준 것도 결국 이런 문제였다.

허구는 반드시 거짓 정보에서 시작되지 않는다.

사실 사이에 존재하지 않는 관계를 만들어내는 것만으로도 거대한 허구는 완성될 수 있다.

그리고 지금 우리는 그 일을 인간보다 훨씬 빠르게 수행하는 도구를 가지고 있다.

AI가 사실을 틀리지 않았다고 해서, 그 설명까지 사실인 것은 아니다.

앞으로 우리가 더 자주 확인해야 할 것은 개별 정보의 진위만이 아닐지도 모른다.

그 정보들이 정말 서로 연결되어 있는가.

어쩌면 AI 시대에 가장 그럴듯한 거짓은, 거짓말로 만들어진 이야기가 아니라 사실만으로 만들어진 이야기일지도 모른다.