OpenAI의 연구 발표와 Anthropic의 공식 안내를 바탕으로 환각이 생기는 이유와 업무에서 줄이는 방법을 정리했습니다
AI에게 질문하면 막힘없는 문장으로 답이 돌아옵니다. 그런데 그 답에 없는 논문 제목이나 틀린 날짜가 섞여 있는 경우가 있습니다. 이렇게 AI가 사실이 아닌 내용을 그럴듯하게 말하는 현상을 환각(할루시네이션)이라고 부릅니다. 이 글은 OpenAI가 2025년 9월 발표한 「언어 모델이 환각을 일으키는 이유」와 Anthropic의 공식 문서를 바탕으로 환각이 무엇이고 왜 생기는지, 업무에서 어떻게 줄이고 확인하는지 정리합니다.
📊 한 줄 정의
| 개념 | 정의 |
|---|---|
| 환각 | 언어 모델이 만들어 내는, 그럴듯하지만 잘못된 진술입니다 (OpenAI) |
| 핵심 특징 | 모델이 자신 있게 답하지만 내용이 사실이 아닙니다 |
왜 생기나
1. 다음 단어를 예측하며 배우기 때문입니다
OpenAI는 언어 모델이 대량의 글에서 다음 단어를 예측하며 배운다고 설명합니다. 철자나 괄호처럼 일정한 패턴이 있는 것은 거의 틀리지 않지만, 특정인의 생일처럼 임의적이고 드물게 나오는 사실은 패턴만으로 예측할 수 없어 환각으로 이어진다고 봅니다.
2. 평가 방식이 추측을 보상하기 때문입니다
OpenAI는 대부분의 평가가 정답률만 따져, 모를 때 “모르겠다”고 답하는 것보다 추측하는 쪽이 점수에 유리하다고 지적합니다. 객관식 시험에서 빈칸은 0점이지만 찍으면 맞을 수도 있는 것과 같은 구조입니다.
3. 실제 예시
OpenAI 발표에 따르면 한 챗봇에 특정 연구자의 박사 논문 제목을 물었더니 서로 다른 답 세 개를 자신 있게 내놓았고, 모두 틀렸습니다. 같은 사람의 생일을 물었을 때도 세 가지 답이 모두 틀렸습니다.
숫자로 보기
OpenAI는 GPT-5 시스템 카드의 SimpleQA 평가를 예로 들었습니다.
| 지표 | gpt-5-thinking-mini | OpenAI o4-mini |
|---|---|---|
| 기권율 (답하지 않음) | 52% | 1% |
| 정확도 (맞힌 답) | 22% | 24% |
| 오류율 (틀린 답) | 26% | 75% |
※ 정확도는 o4-mini가 조금 높지만 틀린 답의 비율은 훨씬 높습니다. OpenAI는 모를 때 추측하면 정확도는 오르지만 오류와 환각도 늘어난다고 설명합니다.
업무에서 환각을 줄이는 요청법
Anthropic은 공식 문서에서 환각을 줄이는 기본 방법으로 다음을 안내합니다.
1. “모르면 모른다고 해도 된다”고 허락하기
불확실할 때 인정해도 된다고 명시하면 잘못된 정보가 크게 줄 수 있다고 설명합니다.
2. 원문을 먼저 인용하게 하기
긴 문서(2만 토큰 이상)를 다룰 때 작업 전에 관련 문장을 그대로 인용하게 하면 실제 내용에 근거한 답이 나온다고 안내합니다.
3. 주장마다 근거를 붙이게 하기
답을 만든 뒤 각 주장을 뒷받침하는 인용을 찾게 하고, 찾지 못하면 그 주장을 빼게 하는 방법입니다.
4. 준 자료만 쓰게 하기
“제공한 문서의 정보만 쓰고 일반 지식은 쓰지 마”처럼 범위를 제한합니다.
5. 같은 질문을 여러 번 해 보기
같은 요청을 여러 번 했을 때 답이 서로 다르면 환각의 신호일 수 있다고 안내합니다.
※ Anthropic은 이런 방법이 환각을 크게 줄이지만 완전히 없애지는 못한다며, 중요한 결정에는 반드시 정보를 검증하라고 덧붙입니다. 긴 문서에 적용하는 순서는 긴 보고서 AI 요약 가이드에 정리했습니다.
⚠️ 흔한 오해 — 이렇게 알고 있다면
☑️ 업무에 쓸 때 확인할 것
마무리
환각은 AI가 사실이 아닌 내용을 그럴듯하게 말하는 현상이고, OpenAI는 그 원인으로 다음 단어 예측이라는 학습 방식과 추측을 보상하는 평가 방식을 듭니다. 업무에서는 “모르면 모른다고 하라”, “원문을 인용하라”, “준 자료만 쓰라”는 요청으로 줄일 수 있지만 완전히 없앨 수는 없습니다. 고유명사와 숫자는 직접 확인하는 습관이 가장 확실한 대비입니다.
한 줄 평: AI의 자신 있는 말투는 정답의 증거가 아니니, 숫자와 이름은 원문으로 확인하세요.
관련 글
전체 보기