실제로 일어난 일
이 사이트를 만들면서 AI에게 초등학생용 태양계 퀴즈를 내 달라고 했습니다. 결과는 이렇습니다.
보기에서 수성은 B인데, 왼쪽 정답표에는 '정답: 1번(수성)'이라고 적혀 있습니다. 1번(A)은 화성입니다.
왜 이런 일이 생기나요?
LLM이 뭔가요?에서 배운 것처럼, AI는 **“다음에 올 자연스러운 말”**을 이어 붙여 답을 만듭니다.- AI의 목표는 자연스러운 문장이지, 사실 확인이 아닙니다
- 그래서 모르는 내용도 그럴듯한 말로 채워 넣을 수 있습니다
- 틀린 답도 맞는 답과 똑같이 자신 있는 말투로 말합니다
AI 서비스 화면 아래에는 대부분 “AI는 실수를 할 수 있습니다” 같은 안내가 적혀 있습니다. 만든 회사도 이 문제를 알고 있다는 뜻입니다.
특히 조심해야 할 답
확인하는 습관 네 가지
1
중요한 건 한 번 더 찾아보기
돈, 건강, 법, 일정처럼 틀리면 곤란한 정보는 공식 사이트, 기관, 전문가에게 확인합니다.
2
출처를 물어보기
“이 내용의 출처를 알려 주세요”라고 묻습니다. 출처가 나오면 그 링크를 직접 열어 정말 그런 내용이 있는지 봅니다. AI가 알려 준 출처 자체가 가짜일 수 있습니다.
3
AI에게 다시 확인시키기
“방금 답에 틀린 부분이 없는지 다시 확인해 주세요”라고 하면 스스로 실수를 찾는 경우가 많습니다. 위 퀴즈도 이렇게 물으면 번호를 고칩니다.
4
다른 AI에게도 물어보기
같은 질문을 다른 서비스에도 해 봅니다. 답이 다르면 둘 중 하나는 틀렸다는 신호입니다.
모르면 모른다고 하게 만들기
질문할 때 이렇게 덧붙이면 지어내는 일이 줄어듭니다.그래도 AI를 써도 되나요?
됩니다. 사람도 틀립니다. 중요한 것은 AI를 믿되 확인하는 것입니다.- 초안, 아이디어, 설명: 틀려도 큰 문제가 없으니 편하게 쓰세요
- 사실, 숫자, 결정: AI를 출발점으로 쓰고, 마지막 확인은 직접 하세요
직접 해 보기
AI에게 이렇게 물어보고, 알려 준 책이 실제로 있는지 인터넷 서점에서 검색해 보세요.다음으로
개인정보 지키기
AI에게 말하면 안 되는 것들.