ChatGPT는 거짓말을 많이 한다? ‘AI 환각’의 충격적인 진실

안녕하세요 월부월백 기초반 고객경험매니저 제이디입니다 :)

수강생분들 모두 꾸준히 글쓰기를 하고 계신가요? 블로그 수익화에서 글쓰기는 AI 활용도가 정말 중요한데요, 오늘은 3주차 과제의 주제인 ChatGPT와 관련된 흥미로운 사실들을 공유해드리려고 합니다. 재밌게 읽어주세요 🙏
 

챗지피티는 어떻게 만들어졌을까?

챗지피티의 배경에는 OpenAI라는 비영리 스타트업이 있습니다. 흥미로운 점은 이 회사를 만든 사람 중에 일론 머스크도 포함되어 있었다는 사실입니다. 인공지능이 인간을 위협할 수 있다는 우려로부터 시작되어, 모두에게 열려 있는 안전한 AI를 만들자는 취지로 설립된 곳입니다.

초기에는 GPT-2라는 언어 모델이 세상을 놀라게 했습니다. 문장을 실제 사람처럼 이어서 쓰는 능력이 너무 뛰어나서 한동안은 공개조차 하지 않았습니다. 이후 출시된 GPT-3는 수많은 API 기반 서비스의 뇌 역할을 하게 되었고, 이를 기반으로 개발된 대화형 AI가 바로 ChatGPT입니다. 현재 우리가 사용하고 있는 최신 버전은 GPT-4o입니다. 여기서 “o”는 “옴니(Omni)”의 약자로, 텍스트, 이미지, 음성까지 모두 다룰 수 있는 멀티모달 모델을 의미합니다.

챗지피티가 실제로 했던 놀라운 일들

챗지피티는 단순히 대화만 잘하는 인공지능이 아닙니다. 많은 사람들이 챗지피티를 활용해 논문 요약, 소설 창작, 사업계획서 작성, 이력서 첨삭, 심지어 법률 자문까지 받아왔습니다. 한 개발자는 챗지피티에게 창업 아이템을 요청하고, 그 아이디어로 실제 앱을 출시하여 첫 달에 수백만 원의 수익을 올리기도 했습니다. 어떤 유튜버는 챗지피티가 제안한 레시피로 요리를 해봤는데, 결과물이 꽤 맛있었다고 합니다. 일본에서는 AI가 쓴 소설이 문학상 예심을 통과한 사례도 있습니다.

챗지피티는 늘 ‘숨겨진 명령어’를 먼저 듣고 시작한다

우리 지피티에 말을 걸기 전, 챗지피티는 시스템 프롬프트(system prompt)라는 숨겨진 지시문을 먼저 전달받습니다. 이 지시문은 사용자가 직접 볼 수는 없지만, 챗지피티가 어떤 말투와 규칙을 따라야 할지를 정해주는 가이드라인입니다.

예를 들어, 다음과 같은 문장이 챗지피티 내부에 항상 포함되어 있습니다.

“당신은 친절하고 정중한 조력자이며, 사용자의 요청에 예의 바르게 응답하되, 위험하거나 불법적인 정보는 제공하지 않습니다.”

이 문장이 챗지피티 내부에서는 대화 시작 전에 항상 주어지고 있는 것입니다. 그래서 사용자가 무례하게 말해도 친절하게 반응하고, 민감하거나 위험한 질문에는 “그건 알려드릴 수 없어요”라고 선을 긋는 이유입니다. 우리 눈엔 안 보이지만, 매 대화마다 AI의 성격과 역할을 정의하는 첫 문장이 숨어 있는 셈입니다.

챗지피티와 관련된 오해
 

많은 사람들이 챗지피티가 실시간으로 인터넷 검색을 한다고 착각합니다. 하지만 그렇지 않습니다. 일부 유료 버전에서는 웹 브라우징 기능이 가능하지만, 기본적으로는 훈련된 데이터에 기반해 작동합니다.

또 하나의 오해는 챗지피티가 말한 내용이 모두 사실이라는 믿음입니다. 챗지피티는 언어를 예측하는 모델이지, 진실 여부를 판단하는 시스템은 아닙니다. 따라서 그럴듯한 거짓 정보를 생성하는 경우도 있습니다. 이러한 오류는 “환각(hallucination)”이라고 불리며, 존재하지 않는 책 제목을 만들어내거나, 잘못된 정보를 매우 자연스럽게 설명하는 식으로 나타납니다.

최근에는 학습 데이터의 출처 문제로 인해 일부 작가나 언론사들이 OpenAI에 문제를 제기하기도 했습니다. “내 콘텐츠로 AI를 훈련시켰다고요? 동의한 적이 없습니다”라는 입장입니다.

챗지피티는 “아는 척”이 특기다

가끔 챗지피티에게 유명한 책이나 논문을 물어보면, 정말 그럴듯한 제목과 내용을 제시하지만 막상 검색해보면 그런 책은 존재하지 않는 경우가 있습니다.

예시)

“2020년에 출간된 ‘디지털 세상의 철학자들’이라는 책에서 존 밀턴은 이렇게 말했습니다…”

문제는, 그 책도 존재하지 않고, 해당 인물도 그런 말을 한 적이 없다는 것입니다. 이런 현상은 AI 환각(Hallucination)이라고 불리며, 사실에 기반해 말하는 것이 아니라, 문맥상 자연스럽게 보이도록 단어를 조합하는 과정에서 생겨나는 오류입니다.

챗지피티는 거짓말을 하려는 것이 아니라, 그럴듯한 말을 하려는 언어적 ‘연기’를 하고 있는 셈입니다. 따라서 챗지피티가 제시한 정보는 뉴스, 인용, 사실 확인이 중요한 경우 반드시 추가 검토가 필요합니다.