머신러닝 학회에서 논문 리뷰어로 참여한 한 연구자가 충격적인 경험담을 공개했어요. 리뷰를 하다가 저자가 실존하지 않는 것으로 보이는 논문 두 편을 발견해서 정식으로 신고(flag)했는데, 두 편 모두 그대로 통과됐을 뿐 아니라 구두발표(oral)로 채택됐다는 거예요. 구두발표가 뭐냐면, 제출 논문 중에서도 상위 몇 퍼센트만 받는, 무대에서 직접 발표할 기회가 주어지는 최고 등급의 채택이거든요. 가짜 저자가 쓴 것으로 의심되는 논문이 그 자리를 차지했다는 얘기예요.
무슨 일이 있었던 걸까요
글쓴이는 리뷰 과정에서 뭔가 이상함을 느꼈다고 해요. 논문의 문체가 전형적인 AI 생성 텍스트의 패턴을 보였고, 저자들을 검색해봐도 학계에서 활동한 흔적이나 소속 기관, 이전 논문 같은 게 전혀 나오지 않았던 거죠. 그래서 리뷰 시스템의 공식 절차를 통해 문제를 제기했는데요. 결과적으로 그 신고는 아무런 효력을 발휘하지 못했어요.
여기서 학회 리뷰가 어떻게 돌아가는지 잠깐 설명하면요. 논문 한 편에 보통 서너 명의 리뷰어가 붙고, 그 위에 영역 책임자(Area Chair)가 리뷰들을 종합해서 채택 여부를 결정해요. 문제는 이 구조에 '이 논문 자체가 사기다'라는 신고를 제대로 처리하는 경로가 사실상 없다는 거예요. 점수가 좋으면 올라가는 구조인데, AI가 쓴 논문은 리뷰어들이 좋아할 만한 모양새를 갖추는 데 오히려 능하거든요.
진짜 문제는 시스템 과부하예요
이런 일이 터지는 배경에는 붕괴 직전의 리뷰 시스템이 있어요. 요즘 주요 AI 학회는 제출 논문이 수만 편 단위인데요. 논문을 쓰는 비용은 AI 덕분에 급격히 떨어진 반면, 제대로 리뷰하는 비용은 그대로예요. 리뷰어는 만성적으로 부족하고, 한 명이 여러 편을 떠안다 보니 한 편에 쓸 수 있는 시간이 줄어들죠. 심지어 리뷰 자체를 AI로 대충 생성해서 내는 리뷰어도 있다는 게 공공연한 문제고요. 대충 만든 AI 논문을 대충 만든 AI 리뷰가 평가하는, 웃지 못할 상황이 벌어지고 있는 거예요. 이런 저품질 AI 생성물을 통칭해서 'AI 슬롭(slop)'이라고 부르는데, 학술 출판이 지금 이 슬롭의 홍수에 잠기고 있어요.
업계 맥락: 신뢰라는 인프라가 흔들리고 있어요
학회들도 손을 놓고 있는 건 아니에요. LLM 사용 정책을 만들고, 표절 검사 도구도 돌리고 있죠. 하지만 이번 사례가 보여주는 건, 정작 가장 기본인 '저자가 실존하는 사람인가'조차 검증하는 절차가 없다는 거예요. 학술 생태계는 기본적으로 신뢰 위에 굴러가도록 설계됐거든요. 저자는 진짜고, 실험은 실제로 했고, 리뷰어는 성실히 읽었을 거라는 가정이요. 논문 공장(paper mill, 돈을 받고 가짜 논문을 찍어내는 업체)과 생성형 AI가 결합하면서 이 가정이 무너지고 있고, 이건 특정 학회의 문제가 아니라 과학 출판 전체의 인프라 위기에 가까워요.
한국 개발자와 연구자에게
실무에도 시사점이 있어요. 요즘은 개발자들도 arXiv 논문을 보고 기술을 도입하는 경우가 많잖아요. 이제 '학회 채택'이라는 딱지가 예전만큼의 품질 보증이 아닐 수 있다는 걸 감안해야 해요. 논문 기반으로 뭔가 도입할 때는 공개된 코드가 있는지, 다른 사람의 재현 보고가 있는지, 저자가 실제로 활동하는 연구자인지 확인하는 습관이 필요해졌어요. 대학원 진학이나 논문 투고를 준비하는 분들이라면, 리뷰 품질에 대한 기대치를 현실적으로 잡는 것도 필요하고요.
마무리
논문을 쓰는 비용은 0에 수렴하는데 검증하는 비용은 그대로라면, 그 시스템은 언젠가 무너져요. 지금이 그 과도기인 것 같고요. 여러분은 어떻게 생각하세요? 저자 신원 검증 의무화, 리뷰어 보상제 같은 해법 중에 뭐가 현실적일까요?
🔗 출처: Hacker News