최근 지후(知乎)의 ‘직답’(直答) 인공지능(AI) 검색 기능 업그레이드가 화제를 모으고 있다. 많은 사람들은 국내 최초 답변 전 과정 추적이 가능한 이 AI 질의응답 제품이 AI가 때론 ‘진지하게 허튼소리를 하는’ 문제를 정확히 해결할 수 있을지를 기대하고 있다.
AI 환각이란 AI가 상호작용 과정에서 사실과 어긋나거나 근거 없는 내용을 생성하는 현상을 말한다. 례를 들면 음식 AI 어시스턴트(助手)에 도마도 계란 볶음 사진을 업로드했는데 “이딸리아 전통 료리인 모짜렐라 치즈(马苏里拉奶酪)와 도마도 샐러드입니다. 레드 와인과 함께 즐기세요.”라는 답변이 돌아오는 경우가 있다. 이는 모델(模型) 학습 데이터의 한계와 알고리즘 결함(缺陷)에서 비롯된 필연적 현상으로 이미 AI 정보의 신뢰성에 심각한 영향을 미치고 있다.
끝없는 ‘퍼즐 맞추기 게임’
AI는 왜 환각을 일으킬가?
이 과정은 아이가 어두운 방에서 만화경(万花筒)을 맞추는 사례와 류사하다. 개발자가 방대한 데이터를 AI 시스템에 입력하면 이 데이터는 마치 흩어진 유리조각처럼 무질서하게 뒤섞인다. AI가 깊은 학습을 통해 인지 구조를 구축하는 과정은 본질적으로 끝없는 ‘퍼즐 게임’과 같다.
자연어 처리 분야의 GPT 시리즈 모델은 각 단어 생성 시 평균 수백억번의 확률 계산을 거친다. 이 확률 기반 창작 메커니즘(创作机制)은 AI가 류창한 문장을 생성하게 하지만 동시에 지식의 경계를 넘나드는 ‘자유 발상’을 유발하기도 한다. 인간이 시각적 사각지대를 무의식적으로 메우듯 AI도 통계학적으로 ‘합리적’이라 판단되는 내용으로 데이터 공백을 채워넣는 것이다.
흥미롭게도 인간과 AI의 상호작용 자체가 이런 환각을 형성하고 있다는 것이다. 사용자가 존재하지 않는 사물을 계속 질문하면 AI는 관객의 즉흥 연기 요구에 응하는 배우처럼 원본 씨나리오를 벗어난 ‘작품’을 만들어낸다. 심리학에서는 이를 ‘확증 편향의 알고리즘 거울’(确认偏误的算法镜像)이라 부르며 인간의 집요한 질문과 AI의 ‘눈치 보기’ (讨好性)응답이 맞물려 가상과 현실이 교차하는 서사를 엮어낸다.
현실 적용에서의 ‘나비효과’
AI 환각은 불가피하며 실제 적용 과정에서도 문제를 초래할 수 있다.
한 병원에서는 AI 보조 진단 시스템이 평범한 피부 알레르기를 ‘알 수 없는 악성 병변’으로 오진한 사례가 있었다. 훈련 데이터내 류사 이미지가 중증 사례와 련관되여있었기 때문이다. 이 사건은 의료, 사법, 금융 분야에서 하나의 알고리즘 오류가 련쇄반응을 일으켜 심각한 결과로 이어질 수 있는 ‘AI 환각’의 ‘나비효과’를 드러냈다.
교육 분야도 도전에 직면하고 있다. 일부 대학 교수들은 학생들이 AI로 생성한 론문에 ‘19세기 량자력학 창시자’와 같은 시공간을 초월한 개념이 빈번히 등장하는 것을 발견했다. 이런 ‘학문적 환각’은 지식 전달의 외곡 위험을 반영할 뿐만 아니라 새세대 학생들이 직면한 인식 위기를 드러낸다. AI가 지식 중개자(中介)가 된 시대 우리는 어떻게 진실의 경계를 지킬 것인가?
‘디지털 의심’ 의식을 지녀라
AI 환각에 어떻게 대처해야 할가?
첫번째 방어선은 사실 고대 인간의 지혜에 숨어있다. 실리콘밸리 한 기술회사는 계시적(启示性)인 ‘레드팀 훈련’(红队演习)을 진행했다. 그들은 AI 시스템에 도전하기 위해 고전문학 학자를 특별히 고용, 호메로스 서사시의 은유 함정을 사용해 기계의 론리적 일관성을 검증했다. 이러한 인문과 기술의 충돌은 뜻밖에도 AI 인식을 교정하는 중요한 방식이 되였다. 일반 대중에게는 ‘디지털 의심’ 의식이 필요하다. 한 어머니가 육아 AI의 “아기에게 묽은 꿀물을 먹이라.”는 조언을 접했을 때 맹목적으로 따르지 않고 권위적인 자료를 확인해 아이가 보툴리누스(肉毒杆菌)에 중독될 위험을 피했다. 이처럼 랭정한 상호작용 태도가 바로 인간―AI 협업시대의 생존법칙이다.
문명 진화의 긴 강을 돌아보면 원시 벽화의 과장된 변형에서 AI의 알고리즘 환상에 이르기까지 인류는 항상 ‘비현실’과 함께했다. 대형 모델이 대화중 셰익스피어 스타일의 소네트론(十四行诗时)을 삽입할 때, 텍스트―이미지 생성 도구(文生图工具)가 세개의 눈을 가진 모나리자를 그려낼 때 이러한 디지털 세계의 ‘장주몽접’(庄周梦蝶)은 기술적 한계의 각주(注脚)인 동시에 인식 경계 돌파의 가능성을 품고 있다. 진실과 환상의 변증법 속에서 인간과 AI가 공동으로 써내려가야 할 것은 아마도 이 시대의 가장 아름다운 ‘과학적 리얼리즘’(科幻现实主义)일 것이다.
/과기넷