AI가 찾아준 정신의학 논문 35편 중 실제로 확인된 논문은 몇 편인가요?

연구진이 ChatGPT가 제시한 35편의 논문을 실제 학술자료와 대조한 결과, 정확하게 확인된 논문은 단 2편(약 6%)뿐이었습니다.

AI가 생성한 가짜 참고문헌들은 완전히 무작위로 만들어진 것인가요?

아닙니다. 정확하지 않은 33개의 인용문헌 중 12개는 실제 존재하는 논문과 아주 비슷한 흔적을 가지고 있었으며, 완전히 무관한 단어를 조합한 것은 아니었습니다.

AI가 논문 35편을 찾아줬다, 하나씩 검색하자 실제 논문은 2편뿐이었다

자산맥 2026년 10월 1일 읽는 시간 약 14분

2023년 3월, 연구자들이 ChatGPT에 학술논문을 찾아달라고 요청했다.

주제는 정신의학 분야였다.

답변은 꽤 그럴듯했다.

논문 제목이 있었다.

저자 이름도 있었다.

발표 연도와 학술지 이름도 붙어 있었다.

모양만 보면 논문 데이터베이스에서 검색한 참고문헌 목록과 크게 다르지 않았다.

ChatGPT가 제시한 논문은 모두 35편.

그런데 연구진이 이 논문들을 실제 학술자료와 하나씩 대조하기 시작하면서 이상한 일이 벌어졌다.

정확하게 확인된 논문은 35편 가운데 단 2편이었다.

나머지는 어디로 간 것일까.

논문 제목이 이렇게 구체적인데 없을 수 있을까

AI가 단순히

관련 연구가 있습니다

라고 답했다면 의심하기 쉬웠을 것이다.

하지만 참고문헌은 달랐다.

저자가 있고 제목이 있고 학술지와 연도가 붙어 있다.

우리가 평소 논문에서 보는 참고문헌과 같은 형태다.

연구진은 2023년 3월 20일 ChatGPT를 이용해 특정 정신의학 주제의 참고문헌을 찾았다.

여러 차례 질문한 결과 총 35개의 서로 다른 인용문헌을 얻었다.

이제 할 일은 간단해 보였다.

논문 제목을 학술 데이터베이스에서 검색하면 된다.

그런데 검색 결과가 예상과 달랐다.

35개 가운데 실제 논문과 정확하게 일치한 것은 **2개, 약 6%**뿐이었다.

그렇다면 나머지 33개는 전부 아무렇게나 만들어진 제목이었을까.

그것도 아니었다.

여기서 이 사례가 더 흥미로워진다.

「ChatGPT and Bard exhibit spontaneous citation fabrication during psychiatry literature search」

12편은 실제 논문과 아주 비슷했다

연구진은 정확하지 않은 33개의 인용문헌을 다시 살펴봤다.

그중 12개는 실제 존재하는 논문과 비슷한 흔적을 찾을 수 있었다.

완전히 무관한 단어를 조합한 것이 아니었다.

실제 논문의 제목과 비슷하지만 일부 단어가 달라져 있거나, 실제 저자와 다른 저자가 붙거나, 연도나 학술지가 바뀌어 있었다.

연구진이 비교한 사례 중에는 실제 논문 제목의 특정 표현이 사용자가 질문한 주제와 관련된 단어로 교체된 경우도 있었다.

예를 들어 실제 제목에 있던 질환명이 질문에서 사용된 다른 정신의학 용어로 바뀌는 식이었다.

그래서 더 그럴듯했다.

논문 제목만 보면

“이런 연구가 정말 있을 것 같다.”

는 느낌을 받을 수 있었다.

실제로 존재하는 연구 분야와 실제 연구자의 이름, 익숙한 학술지 형식이 섞여 있기 때문이다.

하지만 참고문헌은 있을 법한 논문을 찾는 것이 아니다.

실제로 존재하는 논문이어야 한다.

나머지 21편은 대응하는 논문조차 찾기 어려웠다

12편보다 더 문제가 되는 것이 남아 있었다.

33개의 잘못된 인용 가운데 나머지 21개는 대응한다고 볼 만한 실제 논문을 쉽게 찾을 수 없었다.

연구진 표현을 따르면 여러 실제 논문의 요소를 섞어 만든 듯한 인용들이었다.

여기서 처음 생각했던 AI 오류의 모습과 차이가 있었다.

나는 AI가 논문을 잘못 알려준다면 제목 철자가 조금 틀리거나 발표 연도를 잘못 말하는 정도를 먼저 떠올리기 쉽다.

하지만 이 경우에는 참고문헌 자체가 존재하지 않는 사례가 있었다.

더구나 문장의 형태는 정상적이었다.

저자 이름처럼 보이는 정보가 있고,

전문적인 논문 제목이 있고,

학술지처럼 보이는 이름과 연도가 붙어 있었다.

그래서 형식만으로는 실제 논문과 구별하기 어려웠다.

실제 논문과 비슷한 가짜가 더 까다로웠다

연구진은 실제 논문과 비슷했던 12개 인용의 오류도 분석했다.

그 결과 12개 가운데 9개는 첫 번째 저자가 틀렸고, 10개는 발표 연도가 맞지 않았으며, 5개는 학술지 이름이 달랐다.

한 참고문헌 안에서 여러 정보가 동시에 섞일 수도 있었다.

이 점이 중요하다.

AI가 제시한 논문을 검색했는데 비슷한 제목이 나온다고 해서 바로 검증이 끝난 것이 아니다.

예를 들어 AI가 이렇게 알려줬다고 생각해보자.

김○○ 외, 2021, A가 B에 미치는 영향, C학술지

검색해보니

김○○ 외, 2019, A와 D의 관계, E학술지

라는 논문이 나온다.

제목도 비슷하고 저자도 일부 겹친다.

이때

“아, 이 논문을 말한 거구나.”

하고 넘어가면 AI가 제시한 인용정보를 실제 논문으로 착각할 수 있다.

검증하려면 제목만 볼 것이 아니라 저자, 연도, 학술지, DOI나 PMID 같은 식별정보까지 맞춰봐야 한다.

다른 연구에서도 비슷한 일이 나타났다

한 연구만의 특이한 결과인지도 확인해볼 필요가 있었다.

2023년 발표된 또 다른 연구에서는 ChatGPT-3.5와 GPT-4에 42개 주제로 각각 글을 작성하게 하고 참고문헌을 수집했다.

두 모델이 만든 글에서 모두 636개의 인용문헌이 나왔다.

연구진은 각각의 참고문헌이 실제 존재하는지 데이터베이스와 웹에서 확인했다.

결과는 모델에 따라 상당한 차이가 있었다.

GPT-3.5가 제시한 222개 참고문헌 가운데 55%가 존재하지 않는 자료였다.

GPT-4에서는 414개 가운데 **18%**가 만들어진 자료로 판정됐다.

GPT-4에서 크게 줄어들기는 했지만 0은 아니었다.

그리고 실제 존재하는 자료라고 해서 모든 정보가 정확한 것도 아니었다.

GPT-3.5가 제시한 실제 자료 중 43%, GPT-4가 제시한 실제 자료 중 24%에는 저자·제목·연도·학술지·권호·페이지 등에서 중요한 오류가 하나 이상 발견됐다.

「Fabrication and errors in the bibliographic citations generated by ChatGPT」

여기서 한 가지는 분명히 해야 한다.

이 숫자를 지금 사용하는 모든 AI 서비스의 현재 오류율이라고 읽으면 안 된다.

실험 당시 모델과 조건에서 나온 결과다.

모델도 바뀌고 검색 기능도 달라진다.

질문 방식과 분야에 따라서도 결과가 달라질 수 있다.

이 연구가 보여주는 핵심은 AI 참고문헌의 몇 %가 항상 틀린다가 아니다.

논문처럼 완성된 형태로 제시된 참고문헌도 실제 존재 여부를 별도로 검증해야 한다는 것이다.

제목을 검색했는데 안 나오면 바로 가짜라고 해도 될까

여기서도 조심할 부분이 있다.

논문 제목을 검색했는데 바로 나오지 않는다고 해서 무조건 존재하지 않는 논문이라고 단정할 수는 없다.

제목의 일부가 번역됐을 수도 있다.

온라인 검색에 잘 잡히지 않는 오래된 자료일 수도 있다.

학술대회 발표나 책의 한 장처럼 일반 논문 검색과 다른 자료일 수도 있다.

그래서 하나의 검색 결과만 보고 판단하기보다 여러 정보를 함께 확인하는 편이 좋다.

먼저 제목 전체를 따옴표로 묶어 검색해본다.

검색되지 않으면 저자명과 제목의 핵심 단어를 함께 검색한다.

의학·생명과학 분야라면 PubMed 같은 전문 데이터베이스를 확인할 수 있다.

DOI가 제시돼 있다면 DOI가 실제로 연결되는지도 확인한다.

그리고 찾은 논문의

제목
저자
발표연도
학술지

가 AI가 알려준 정보와 같은지 대조한다.

하나만 비슷하다고 같은 논문으로 취급하지 않는 것이 중요하다.

DOI가 있다고 끝나는 것도 아니다

AI가 DOI까지 알려준다면 훨씬 믿음직하게 느껴질 수 있다.

DOI는 논문에 부여되는 고유 식별자이기 때문이다.

그렇다면 DOI가 있으면 확인이 끝날까.

아니다.

문자열 형태가 DOI처럼 보이는 것과 실제 DOI가 존재하는 것은 다른 문제다.

실제로 연결되는지 확인해야 한다.

연결된다면 그다음에는 DOI가 가리키는 논문의 제목과 AI가 알려준 제목이 같은지 본다.

실제 논문의 DOI를 가져와 전혀 다른 제목에 붙였다면 링크 자체는 열리더라도 인용은 잘못된 것이다.

결국 링크가 열린다도 마지막 단계가 아니다.

그 링크의 자료가 지금 주장하는 내용을 실제로 뒷받침하는지까지 확인해야 한다.

이 부분은 앞으로 다른 편에서 별도로 다룰 문제이기도 하다.

AI에게 다시 물어보는 것은 검증이 아니다

가장 쉽게 하고 싶은 방법도 있다.

AI가 알려준 논문이 의심스러우면 이렇게 다시 묻는 것이다.

“이 논문 정말 존재해?”

AI가

네, 실제 존재하는 논문입니다

라고 답하면 안심하고 싶어진다.

하지만 처음 정보를 만든 시스템에게 같은 정보가 맞는지 다시 묻는 것은 독립적인 검증이 아니다.

이번 연구에서도 AI가 만들어낸 참고문헌의 존재 여부는 AI에게 확인한 것이 아니라 실제 학술자료와 데이터베이스를 이용해 확인했다.

검증에는 AI 답변 밖으로 나가는 단계가 필요하다.

AI → AI에게 재질문

으로 끝내는 것이 아니라

AI → 학술 데이터베이스 → 원 논문

으로 이동해야 한다.

최근 모델에서는 문제가 사라졌을까

여기서 2023년 결과만 보고 현재의 모든 AI가 똑같다고 말해서도 안 된다.

이후 모델들은 계속 바뀌었다.

실제로 최근 연구에서는 과거보다 낮은 비율이 보고되기도 한다.

반면 특정 조건에서는 여전히 존재하지 않는 참고문헌이 생성되는 사례가 확인된다.

따라서 오래된 연구의 오류율을 현재 모델에 그대로 적용할 수는 없다.

오히려 사용자 입장에서는 숫자를 외우는 것보다 검증 습관을 갖는 편이 안전하다.

오류율이 50%일 때만 검증해야 하고 5%라면 검증하지 않아도 되는 것은 아니기 때문이다.

중요한 논문이라면 한 편의 잘못된 출처도 문제가 될 수 있다.

특히 논문, 보고서, 건강정보처럼 출처가 결론의 근거가 되는 글에서는 더 그렇다.

논문 제목이 구체적일수록 오히려 한 번 더 확인한다

이번 사례에서 가장 인상적이었던 부분은 가짜 참고문헌이 엉성하지 않았다는 점이다.

AI가

어딘가에 그런 연구가 있을 것입니다

라고 답한 것이 아니다.

실제 연구처럼 보이는 제목과 저자, 학술지, 연도가 있었다.

그리고 일부는 실제 존재하는 연구와 아주 비슷했다.

바로 이 때문에 구체적이다와 검증됐다를 구분할 필요가 있다.

정보가 자세하면 신뢰감은 높아진다.

하지만 세부정보가 많다는 사실 자체가 그 정보의 존재를 증명하지는 않는다.

그래서 AI에게 논문을 추천받았을 때 이제는 참고문헌 목록을 완성된 결과로 보지 않으려고 한다.

오히려 검증해야 할 후보 목록으로 보는 편이 맞다.

제목을 검색한다.

저자를 확인한다.

학술지를 확인한다.

연도를 확인한다.

DOI나 PMID가 있다면 실제 식별자인지 확인한다.

그리고 가능하면 원문 페이지까지 들어간다.

그 과정이 끝난 뒤에야 비로소 실제로 존재하는 논문이라고 말할 수 있다.

35편 가운데 2편이라는 숫자보다 중요한 것

처음에는 35편 중 2편이라는 결과가 가장 눈에 들어왔다.

상당히 충격적인 숫자다.

하지만 이 글을 따라가면서 더 중요한 부분은 다른 곳에 있었다.

나머지 33편이 모두 황당한 문장으로 만들어진 것이 아니었다는 점이다.

틀린 정보가 맞는 정보의 모습을 하고 있었다.

실제 연구자 이름과 비슷하고,

실제 학술지처럼 보이고,

실제로 연구될 법한 제목을 가지고 있었다.

사람이 가짜라고 예상하는 모습과 달랐다.

그래서 AI 시대의 출처 확인은 단순히 출처가 있느냐를 보는 데서 끝날 수 없다.

출처가 너무 그럴듯하게 제시됐을 때 오히려 한 단계 더 필요하다.

그 자료가 실제로 존재하는가.

그리고 존재한다면,

AI가 알려준 바로 그 자료가 맞는가.

AI가 논문 제목과 저자까지 알려줬다는 것은 검증의 끝이 아니었다.

이번 사례에서는 바로 그 지점에서 검증이 시작됐다.

이번 글에서 확인한 판별 기준

AI가 논문 제목·저자·학술지·연도까지 제시하더라도 실제 존재하는 참고문헌이라고 자동으로 판단하지 않는다.

논문 제목을 검색하고 가능하면 전문 학술 데이터베이스에서 다시 확인한다.

비슷한 논문을 찾았다고 검증을 끝내지 않고 제목·저자·연도·학술지가 모두 일치하는지 대조한다.

DOI나 PMID가 제시됐다면 실제로 존재하는 식별자인지 확인하고, 연결된 자료가 AI가 설명한 바로 그 논문인지 다시 확인한다.

AI에게 이 출처가 진짜냐고 다시 묻는 것을 독립적인 검증으로 생각하지 않는다.

그리고 과거 특정 모델에서 측정된 가짜 인용 비율을 현재 모든 AI의 오류율로 일반화하지 않는다.

AI가 제시한 참고문헌은 완성된 출처 목록이 아니라 검증해야 할 후보 목록으로 다루는 것이 안전하다.

참고한 자료