AI가 출처까지 달아줬다, 원문을 열자 같은 주장을 하고 있지 않았다
AI에게 어떤 내용을 물었다.
답변은 꽤 그럴듯했다.
설명 뒤에는 출처도 붙어 있었다.
논문 제목이 있었고 저자도 있었다. 학술지 이름까지 적혀 있었다.
여기까지 보면 한결 안심된다.
적어도 AI가 혼자 만들어낸 이야기는 아닌 것처럼 보인다.
그런데 출처를 직접 열어보면 예상하지 못한 문제가 생길 수 있다.
논문은 실제로 존재한다.
저자도 맞다.
그런데 내가 읽었던 AI의 주장을 논문에서 찾기 어렵다.
출처는 진짜인데, 그 출처가 그 말을 뒷받침하는지는 또 다른 문제였다.
303개 참고문헌과 451개 인용을 따로 검사했다
2025년 학술지 「Simulation in Healthcare」에는 생성형 AI가 학술적인 글을 작성하면서 제시하는 참고문헌과 인용의 정확성을 조사한 연구가 발표됐다.
연구진은 ChatGPT-4와 ChatGPT o1을 이용해 의료 시뮬레이션 디브리핑과 관련된 글을 작성하게 했다.
총 15개의 글이 만들어졌다.
연구진은 여기서 두 가지를 따로 평가했다.
첫 번째는 참고문헌 자체가 정확한가였다.
두 번째는 본문에서 그 참고문헌을 인용한 위치가 실제 내용과 관련 있는가였다.
비슷하게 들리지만 전혀 다른 검사다.
연구에서 생성된 참고문헌은 303개였다.
이 가운데 60.4%가 정확한 참고문헌으로 분류됐다.
그런데 본문 속 인용을 기준으로 보면 결과가 달라졌다.
451개의 인용 가운데 22.2%만 높은 관련성을 가진 것으로 평가됐다.
PubMed – Exploring AI Hallucinations of ChatGPT
이 숫자들을 보고 나면 AI의 출처를 확인하는 과정이 한 번으로 끝나지 않는다는 사실이 분명해진다.
먼저 자료 자체가 실제로 존재하는지 확인해야 한다.
그리고 자료가 존재한다면 그다음 질문으로 넘어가야 한다.
“이 자료가 AI가 한 말을 실제로 뒷받침하는가?”
논문을 찾았다고 검증이 끝나는 것은 아니었다
AI가 알려준 논문을 검증할 때 가장 먼저 할 수 있는 일은 제목을 검색하는 것이다.
저자를 확인한다.
학술지를 확인한다.
DOI나 PMID가 있다면 실제 등록정보와 비교한다.
이 과정에서 검색되지 않는 논문이나 제목·저자·학술지 정보가 서로 맞지 않는 자료를 걸러낼 수 있다.
실제로 2023년 정신의학 분야의 문헌검색을 평가한 연구에서는 ChatGPT와 Bard가 생성한 35개의 고유한 인용 가운데 실제 논문과 정확하게 일치한 것은 2개였다.
하지만 이번에는 이 첫 번째 검사를 모두 통과했다고 생각해보자.
논문이 실제로 검색된다.
제목도 맞다.
저자도 맞다.
학술지도 맞다.
그러면 이제 AI의 설명까지 믿어도 될까.
아직 한 단계가 남아 있다.
진짜 논문을 인용했다고 제대로 인용한 것은 아니다
예를 들어 AI가 이런 형태의 답변을 만들었다고 생각해보자.
A 방법은 B 결과를 크게 개선한다. [논문 X]
논문 X를 검색했더니 실제로 존재한다.
그러면 사람은 자연스럽게 앞 문장도 검증됐다고 느끼기 쉽다.
하지만 논문 X가 실제로 무엇을 연구했는지 확인해야 한다.
A 방법을 직접 연구했는가.
B 결과를 측정했는가.
연구 대상은 내가 묻고 있는 대상과 같은가.
AI가 말한 정도의 효과가 실제 결과에 나오는가.
논문 저자들이 그런 결론까지 내렸는가.
이 중 하나라도 다르면 출처의 존재 여부와 주장의 근거 여부가 갈라진다.
쉽게 말해
‘진짜 논문을 인용했다’와 ‘그 논문을 제대로 인용했다’는 같은 말이 아니다.
다른 연구에서도 ‘존재’와 ‘관련성’을 따로 검사했다
이 문제를 확인한 연구가 하나만 있는 것도 아니다.
2024년 「Journal of Medical Internet Research」에 발표된 연구에서는 ChatGPT가 생성한 102개의 인용을 자연과학과 인문학 분야로 나눠 조사했다.
전체 102개 가운데 실제 문헌으로 확인된 것은 76개, 즉 **74.5%**였다.
연구진은 여기서 멈추지 않았다.
인용이 해당 연구 주제와 맥락적으로 관련 있는지도 별도로 평가했다.
자연과학 분야에서는 70.9%, 인문학 분야에서는 74.5%가 관련성이 있는 것으로 평가됐다.
여기에서도 존재하는가, 서지정보가 정확한가, 내용과 관련 있는가는 서로 다른 평가 항목이었다.
출처 검증을 한 단계로 끝내면 안 되는 이유다.
링크가 열렸다는 순간 검증을 멈추기 쉽다
AI가 링크를 제시했을 때 가장 쉽게 하는 검증은 클릭이다.
링크를 눌렀다.
PubMed가 열린다.
논문 제목도 맞는다.
그러면 검증을 끝낸 느낌이 든다.
하지만 사실 확인된 것은 많지 않다.
그 주소에 실제 자료가 존재한다는 사실을 확인했을 뿐이다.
AI가 주장한 내용이 그 자료 어디에 있는지는 아직 확인하지 않았다.
이 차이는 일반 웹페이지에서도 똑같이 나타난다.
AI가 정부기관 보고서를 출처로 달았다고 해보자.
링크를 열었더니 실제 정부기관 사이트다.
보고서도 실제로 존재한다.
하지만 AI가 말한 숫자가 보고서에 있는지는 별도로 찾아야 한다.
연도도 확인해야 한다.
조사대상도 확인해야 한다.
보고서가 그 숫자를 어떤 의미로 설명하는지도 봐야 한다.
신뢰할 만한 사이트로 연결됐다는 사실과 내 앞의 문장이 검증됐다는 사실은 다르다.
가장 빠른 방법은 주장 속 핵심 단어를 원문에서 찾는 것이다
그렇다고 매번 논문 전체를 처음부터 끝까지 읽어야 하는 것은 아니다.
먼저 AI가 한 주장 가운데 검증할 부분을 하나로 좁힌다.
숫자가 있다면 숫자를 찾는다.
특정 효과를 말했다면 핵심 변수나 결과를 검색한다.
PDF라면 문서 내 검색을 사용할 수 있다.
논문이라면 초록에서 연구 대상과 주요 결과를 먼저 확인한다.
그다음 본문의 결과와 결론 부분으로 이동한다.
예를 들어 AI가
위험이 30% 감소했다
고 설명했다면 원문에서 30%, risk, reduction처럼 관련 표현을 찾아본다.
숫자가 나오지 않는다면 AI가 다른 통계값을 변환해 표현했을 가능성도 있으므로 결과표까지 확인한다.
그래도 찾을 수 없다면 질문이 생긴다.
AI는 이 출처의 무엇을 근거로 이 문장을 썼을까.
이 질문이 출처 검증의 시작이다.
연구 대상이 달라져도 결론은 달라질 수 있다
원문을 열었을 때 특히 확인해야 할 것이 연구 대상이다.
AI 답변에서는 이 조건이 빠지기 쉽다.
어떤 연구가 특정 연령대만 대상으로 했을 수 있다.
특정 질환이 있는 환자만 조사했을 수도 있다.
한 국가에서만 조사했을 수도 있다.
동물실험이나 세포실험일 수도 있다.
그 결과를 AI가
사람에게 효과가 있다
또는
모든 연령에서 나타난다
처럼 범위를 넓혀 설명한다면 논문은 진짜여도 주장의 범위가 달라진다.
출처를 확인할 때는 연구 제목보다 누구를 대상으로 무엇을 측정했는지를 함께 봐야 한다.
‘관련 있다’와 ‘그 결론을 입증한다’도 구분해야 한다
더 미묘한 경우도 있다.
논문 주제가 AI 답변과 관련은 있다.
하지만 AI가 말한 강한 결론까지 뒷받침하지는 않는다.
예를 들어 논문에서는 두 현상 사이의 연관성을 발견했다고 하자.
그런데 AI는
A가 B를 일으킨다
라고 설명할 수 있다.
출처를 열면 A와 B가 모두 등장한다.
얼핏 보면 제대로 된 출처처럼 보인다.
하지만 연구가 보여준 것은 상관관계이고 AI가 말한 것은 인과관계라면 둘은 같은 주장이 아니다.
따라서 원문을 확인할 때는 단어가 존재하는지만 찾지 않는다.
연구진이 실제로 어디까지 결론을 내렸는지를 확인한다.
출처가 많다고 검증된 답변이 되는 것도 아니다
AI 답변 아래 참고문헌이 10개 붙어 있으면 하나만 붙어 있을 때보다 더 신뢰가 가기 쉽다.
하지만 출처 개수와 주장 검증 정도는 같은 것이 아니다.
10개 가운데 일부가 존재하지 않을 수도 있다.
모두 실제 자료여도 해당 문장을 뒷받침하지 않을 수 있다.
여러 웹페이지가 사실상 하나의 원자료를 반복해서 인용하고 있을 수도 있다.
결국 중요한 것은 출처의 숫자가 아니다.
각 출처와 각 주장이 실제로 연결돼 있는가다.
AI에게 다시 물어보는 것은 독립 검증이 아니었다
이럴 때 가장 쉬운 방법은 AI에게 다시 묻는 것이다.
정말 이 논문에 그 내용이 있어?
AI가 수정된 답을 내놓을 수도 있다.
하지만 이것만으로 검증이 끝나는 것은 아니다.
처음 답변을 만든 시스템에게 자신의 답을 다시 확인해달라고 요청한 것이기 때문이다.
AI가 처음의 잘못된 연결을 다시 확신 있게 설명할 가능성도 있다.
독립적인 검증을 하려면 AI의 설명 밖으로 나가야 한다.
논문이라면 출판사 페이지나 PubMed 같은 학술 데이터베이스를 연다.
공식 통계라면 통계기관 원자료를 연다.
정부 발표라면 보도자료 원문을 찾는다.
그리고 내가 검증하려는 문장을 원자료와 직접 대조한다.
60.4%와 22.2%는 서로 빼면 안 된다
2025년 연구의 숫자로 돌아가보자.
303개 참고문헌 가운데 정확한 것으로 평가된 비율은 60.4%였다.
그리고 451개 본문 인용 가운데 높은 관련성을 가진 것으로 평가된 것은 22.2%였다.
여기서 조심해야 할 것이 있다.
두 비율은 분모와 평가기준이 서로 다르다.
따라서 단순히 60.4에서 22.2를 빼서
38.2%가 잘못 인용됐다
고 계산하면 연구 결과를 잘못 읽게 된다.
중요한 것은 연구진이 애초에 참고문헌 정확성과 인용 관련성을 서로 다른 문제로 측정했다는 사실이다.
또한 이 결과는 해당 연구가 사용한 모델과 프롬프트, 의료 시뮬레이션 디브리핑이라는 분야에서 얻어진 결과다.
모든 AI와 모든 질문에서 정확히 같은 비율의 문제가 발생한다는 뜻도 아니다.
연구 결과를 이용하면서 연구가 말한 범위를 넘어가지 않는 것 역시 출처를 제대로 읽는 방법이다.
AI 출처는 두 단계를 나눠 확인한다
이제 검증 순서를 두 단계로 나눌 수 있다.
첫 번째 질문은 이것이다.
이 자료가 실제로 존재하는가.
제목을 검색한다.
저자를 확인한다.
학술지를 확인한다.
DOI나 PMID를 대조한다.
첫 번째 검사를 통과했다면 두 번째 질문으로 넘어간다.
이 자료가 바로 앞의 주장을 실제로 뒷받침하는가.
원문을 연다.
AI가 말한 숫자와 표현을 찾는다.
연구 대상을 확인한다.
결과와 결론을 읽는다.
AI가 원문의 표현보다 강하게 확대하지 않았는지 살펴본다.
두 검사는 서로 대신할 수 없다.
첫 번째 검사만 하면 진짜 논문을 잘못 가져다 붙인 답변을 놓칠 수 있다.
이번 글에서 확인한 판별 기준
AI가 출처를 제시하면 링크가 있다는 이유만으로 답변이 검증됐다고 생각하지 않는다.
먼저 출처 자체가 실제로 존재하는지 확인한다.
그다음 반드시 출처가 해당 문장을 실제로 뒷받침하는지 확인한다.
논문이라면 연구 대상, 방법, 결과, 결론을 살펴본다.
숫자가 제시됐다면 원문에서 같은 숫자를 찾는다.
원문이 관련이 있다고 했는데 AI가 원인이다라고 바꾸지는 않았는지 본다.
특정 집단에서 나온 결과를 모든 사람에게 확대하지 않았는지도 확인한다.
그리고 AI에게 자신의 출처를 다시 확인하게 하는 것만으로 독립 검증을 대신하지 않는다.
AI가 알려준 논문을 검색해 실제로 존재한다는 사실을 확인했다.
하지만 거기서 검색창을 닫지 않았다.
원문까지 열었다.
그리고 한 번 더 물었다.
“이 출처가 정말 이 말을 하고 있는가?”
AI 시대에는 출처가 있다는 사실보다 출처와 주장 사이가 실제로 연결돼 있는지 확인하는 과정이 더 중요해지고 있다.
참고한 자료
Scientific Reports – Fabrication and errors in the bibliographic citations generated by ChatGPT
자산맥
댓글 0
첫 댓글을 남겨보세요.