앞서 만든 여행 계획에서 날짜·장소·영업시간처럼 확인할 주장 3개를 고르고, 원문 출처를 열어 대조해보세요. AI가 다시 맞다고 답하는 것만으로 검증이 끝나지는 않습니다.
AI는 '모른다'고 말하기보다 '그럴듯하게' 지어내는 쪽을 택합니다. 이 성질을 이해하면, AI의 답을 그대로 믿는 대신 '검토할 줄 아는 사람'이 됩니다.1. 할루시네이션이란?
생성형 AI가 사실이 아닌 내용을 마치 사실인 것처럼 자신 있게 만들어내는 현상입니다. 거짓말을 하려는 게 아니라, AI의 작동 방식 자체에서 나오는 자연스러운 결과예요.
왜 생길까? LLM은 "진실"을 저장해 두고 꺼내는 게 아니라, 앞 문장에 이어 가장 그럴듯한 다음 단어를 확률로 예측하는 도구입니다. 그래서 모르는 것도 빈칸으로 두지 않고, 통계적으로 가장 자연스러운 말로 채웁니다. → '그럴듯함'과 '정확함'은 다릅니다.
예시 상황 — "자료를 정리시켰더니, 원문에 없는 제품명을 만들어 넣었다." 이름·날짜·수치가 그럴듯하게 추가되는 상황을 생각해보세요. 표·숫자·인용처럼 '정확해 보이는' 결과일수록 더 위험합니다.2. 핵심 원칙 — AI 결과물은 '초안', 최종 판단은 '나'
할루시네이션은 없앨 수 없습니다. 대신 비판적 사고를 바탕으로 '검토 / 퇴고' 과정을 반드시 거치는 것이 핵심입니다. AI가 준 답을 결재 문서처럼 다루세요 — 그대로 올리지 않고, 한 번 검증한 뒤 내보내는 겁니다.
3. 거짓을 잡아내는 3가지 검증법
① 자기 검증 — AI에게 스스로 되짚게 하기
같은 AI에게 자기가 쓴 내용을 다시 점검시키는 가장 빠른 방법입니다.
방금 네가 작성한 내용을 다시 검토해줘.
- 사실과 다르거나 근거가 약한 부분이 있는지
- 출처 없이 단정한 부분이 있는지
Plain Text
복사
② 외부 검증 — 검색으로 확인하고 출처 달기
AI의 기억(학습 데이터)이 아니라 실시간 검색으로 사실을 대조하게 합니다.
이 내용을 웹 검색으로 사실 확인해줘.
각 핵심 주장마다 출처(링크)를 달고,
검색으로 확인되지 않는 내용은 "확인 불가"로 표시해줘.
Plain Text
복사
③ 교차 검증 — 새 대화창에서 다시 묻기
중요한 내용이라면, 앞의 맥락을 모르는 새 대화창을 열어 결과물만 붙여넣고 검증시킵니다.
새 대화창이나 다른 AI로 관점을 바꾸어 검토할 수 있습니다. 다만 AI끼리 같은 오류를 놓칠 수도 있으므로, 중요한 수치·주장은 원문과 직접 대조합니다.
아래 내용에 사실 오류나 과장, 거짓이 없는지 검증해줘.
틀린 부분이 있으면 무엇이 어떻게 틀렸는지 지적해줘.
[검증할 내용 붙여넣기]
Plain Text
복사
4. 애초에 줄이는 법 — 정확한 정보를 '참고시키기'
검증만큼 중요한 게 입력 단계에서 막는 것입니다. AI가 지어낼 여지를 주지 말고, 정확한 자료를 함께 넣어 그 자료 안에서만 답하게 하세요. (RAG)
첨부한 자료(우리 회사 제품 목록 / 규정 / 데이터)만 근거로 답해줘.
자료에 없는 내용은 지어내지 말고 "자료에 없음"이라고 표시해줘.
답변에는 근거가 된 부분을 함께 인용해줘.
Plain Text
복사
5. 
이럴 땐 반드시 사람이 확인한다
AI가 틀렸을 때 손해가 큰 것부터 외우세요. 아래 다섯 가지는 예외 없이 원본과 대조합니다.
영역 | 왜 위험한가 | 확인 방법 |
설계 수치·규격 | 그럴듯한 단위·공차를 지어냅니다. 도면에 들어가면 재작업·불량으로 직결 | 사양서·도면 원본과 1:1 대조 |
납기·일정 | 없는 날짜를 만들어냅니다. 고객사에 나가면 바로 약속이 됨 | 공정표·발주서 원본 확인 |
단가·금액·정산 | 계산 과정에서 조용히 틀립니다. 표로 나오면 더 믿게 됨 | 단가표·정산자료를 첨부해서 답하게 하기(RAG) |
안전 기준·법령 | 예전 기준을 현행처럼 말합니다. 사람이 다칠 수 있는 영역 | 국가법령정보센터·안전보건공단 원문 |
고객사·계약 내용 | 계약서에 없는 조건을 "가능합니다"로 답해버림 | 영업·계약 담당자 확인 후 회신 |
가장 쉬운 방법 — 프롬프트 끝에 한 줄만 더하세요.
수치·날짜·규격은 내가 준 자료에 있는 것만 쓰고, 없으면 지어내지 말고 [확인 필요]로 표시해줘
그 밖 일반 체크리스트
숫자·날짜·고유명사·인용은 반드시 한 번 더 확인했는가
'정확해 보이는' 표·통계일수록 의심했는가
중요한 문서는 자기검증 → 외부검증 → (필요시) 교차검증을 거쳤는가
회사 데이터·제품·규정은 자료를 참고시켜서 답하게 했는가
한 줄 정리 — AI는 '척척박사'가 아니라 '말 잘하는 신입'입니다. 일은 빠르게 시키되, 출고 전 검토는 내 몫입니다.
현장에서 쌓은 감각이 마지막 관문입니다.