AI는 '모른다'고 말하기보다 '그럴듯하게' 지어내는 쪽을 택합니다. 이 성질을 이해하면, AI의 답을 그대로 믿는 대신 '검토할 줄 아는 사람'이 됩니다.1. 할루시네이션이란?
생성형 AI가 사실이 아닌 내용을 마치 사실인 것처럼 자신 있게 만들어내는 현상입니다. 거짓말을 하려는 게 아니라, AI의 작동 방식 자체에서 나오는 자연스러운 결과예요.
왜 생길까? LLM은 "진실"을 저장해 두고 꺼내는 게 아니라, 앞 문장에 이어 가장 그럴듯한 다음 단어를 확률로 예측하는 도구입니다. 그래서 모르는 것도 빈칸으로 두지 않고, 통계적으로 가장 자연스러운 말로 채웁니다. → '그럴듯함'과 '정확함'은 다릅니다.
참고 사례 — 회사의 세일즈 데이터를 만들게 했더니 엉뚱한 제품을 넣는 경우가 있었습니다. 표·숫자·인용처럼 정확해 보이는 결과도 원문과 대조해야 합니다.2. 핵심 원칙 — AI 결과물은 '초안', 최종 판단은 '나'
할루시네이션은 없앨 수 없습니다. 대신 비판적 사고를 바탕으로 '검토 / 퇴고' 과정을 반드시 거치는 것이 핵심입니다. AI가 준 답을 결재 문서처럼 다루세요 — 그대로 올리지 않고, 한 번 검증한 뒤 내보내는 겁니다.
3. 거짓을 잡아내는 3가지 검증법
① 자기 검증 — AI에게 스스로 되짚게 하기
같은 AI에게 자기가 쓴 내용을 다시 점검시키는 가장 빠른 방법입니다.
② 외부 검증 — 검색으로 확인하고 출처 달기
AI의 기억(학습 데이터)이 아니라 실시간 검색으로 사실을 대조하게 합니다.
③ 교차 검증 — 새 대화창에서 다시 묻기
중요한 내용이라면, 앞의 맥락을 모르는 새 대화창을 열어 결과물만 붙여넣고 검증시킵니다.
새 대화창이나 다른 AI로 관점을 바꾸어 검토할 수 있습니다. 다만 AI끼리 같은 오류를 놓칠 수도 있으므로, 중요한 수치·주장은 원문과 직접 대조합니다.
4. 애초에 줄이는 법 — 정확한 정보를 '참고시키기'
검증만큼 중요한 게 입력 단계에서 막는 것입니다. AI가 지어낼 여지를 주지 말고, 정확한 자료를 함께 넣어 그 자료 안에서만 답하게 하세요. (RAG)
5. 
이럴 땐 반드시 사람이 확인한다
AI가 틀렸을 때 손해가 큰 것부터 외우세요. 아래 다섯 가지는 예외 없이 원본과 대조합니다.
영역 | 확인할 점 | 대조할 자료 |
서비스 이용 절차 | 순서·대상·예외가 원문과 같은가 | 사용이 허용된 최신 안내 |
진행 상황·일정 | 확인하지 않은 완료 시각을 약속하지 않았는가 | 확정된 연락 약속·진행 기록 |
숫자·조건 | 수치와 적용 조건을 새로 만들어 넣지 않았는가 | 최신 공식 자료·승인된 기준 |
코칭 의견 | 관찰 사실과 AI의 해석을 구분했는가 | 교육용 대화문·관찰 기준 |
출처·인용 | 실제 존재하는 자료이며 주장을 뒷받침하는가 | 해당 원문과 근거 위치 |
가장 쉬운 방법 — 프롬프트 끝에 한 줄만 더하세요.
수치·날짜·조건은 내가 준 자료에 있는 것만 쓰고, 없으면 지어내지 말고 [확인 필요]로 표시해줘
그 밖 일반 체크리스트
숫자·날짜·고유명사·인용은 반드시 한 번 더 확인했는가
'정확해 보이는' 표·통계일수록 의심했는가
중요한 문서는 자기검증 → 외부검증 → (필요시) 교차검증을 거쳤는가
회사 데이터·제품·규정은 자료를 참고시켜서 답하게 했는가
한 줄 정리 — AI는 '척척박사'가 아니라 '말 잘하는 신입'입니다. 일은 빠르게 시키되, 출고 전 검토는 내 몫입니다.
현장에서 쌓은 감각이 마지막 관문입니다.