생성형 모델이 사람의 개입 없이 스스로 연구개발(R&D)을 수행한다는 '자율 AI 연구' 서사는 최근 업계에서 가장 뜨거운 기대 중 하나다. 그러나 LessWrong에 올라온 아준 파닉세리(Arjun Panickssery)의 짧은 관찰 기록은 그 기대에 직관적으로 동의하기 어렵다고 말한다. 그는 세 가지 사이드 프로젝트를 직접 모니터링했다. 하나는 스크래블(Scrabble)용 새로운 SOTA 엔진 개발인데, 현재 최고 수준의 구현조차 신경망 기반이 아니며 최강 인간 플레이어를 이기지 못하는 상태다. 둘째는 얼티밋 틱택토를 두는 봇, 셋째는 AI 철학 공모전을 위한 철학 연구와 증명 형식화였다. 세 경우 모두에서 그가 내린 결론은 비슷했다. 모델의 '판단력'이 기본적인 수준에서 매우 빈약하다는 것이다.
정보가치 없는 실험과 빗나간 문헌 판단
구체적인 양상은 실무자에게 익숙한 불안을 건드린다. 선행 문헌을 검토할 때 모델은 명백히 가장 중요하고 유용한 논문이나 블로그 글을 집어내지 못했다. 비교하려는 아키텍처들을 구분하기에는 학습 데이터 양이 누가 봐도 너무 적어 애초에 아무런 정보가치가 없는 실험을 수행하기도 했다. 철학 프로젝트에서는 수많은 토큰을 들여 위키를 구축했지만, 극도로 사소하고 가치가 낮은 방향으로 계속 파고들었다. 얼티밋 틱택토 사례가 특히 상징적이다. 모델은 매우 영리한 아이디어가 담긴 블로그 글을 실제로 찾아내긴 했다. 그러나 그 글이 온라인 아레나에서의 강력한 성적과 최근성만 봐도 분명히 드러나는 중요성과 관련성을 가졌음을 알아채지 못하고, 명백히 덜 관련된 과거 논문들을 더 비중 있게 다뤘다.
이 관찰은 개인 프로젝트에만 국한되지 않는다. 파닉세리는 지난주 Apart 해커톤을 심사하며 논문 여덟 편을 검토했는데, 모두 AI 작성 탐지기 팡그램(Pangram)에서 60~95% 점수를 받았다. 예상대로 논문들은 서로 꽤 비슷했고, 가장 직관적이고 기본적인 분석을 놓친다는 점에서 모호하지만 일관된 방식으로 방법론적으로 불완전했다. 다시 말해, 비슷한 사각지대를 공유하는 결과물이 양산되는 패턴이 드러난 것이다.
예외는 '빠른 피드백 루프'가 있는 언덕 오르기
다만 그는 중요한 예외를 인정한다. 피드백 루프가 빠른 일부 '힐 클라이밍(hill-climbing)' 과제다. 그는 '합법적인 스크래블 수를 모두 나열하기' 과제의 SOTA를 10배 개선했는데, 방법은 단순했다. 모델(그가 사용한 Astra)에게 더 열심히 해보라고, 특정 성능 수치를 목표로 삼으라고, '문헌에서 조금이라도 관련돼 보이는 방법을 체계적으로 모두 시도해보라'고 반복해서 프롬프트를 준 것이다. 측정 가능한 지표와 빠른 반복이 있을 때 모델이 끈질기게 성능을 끌어올리는 능력은 분명 실재한다.
그러나 바로 이 성공 사례가 한계를 함께 드러낸다. 10배 개선 과정의 두 번의 큰 도약은 모델이 아니라 사람에게서 나왔다. 하나는 무작위 포지션별로 측정하는 대신 한 게임 전체에 걸쳐 측정할 수 있다는 점을 고려하라는 제안이었고, 다른 하나는 가방에 남은 공백 타일 수에 따라 수의 개수가 폭발적으로 늘어나므로 세 가지 경우로 나눠 알고리즘을 따로 설계해보라는 제안이었다. 즉 결정적인 통찰의 방향 설정은 여전히 인간의 몫이었다.
여기에 실무적으로 간과하기 쉬운 비용 하나가 더 붙는다. 보고서의 가독성 문제다. 파닉세리는 Astra가, 그리고 아마 클로드(Claude) 역시 이해하기 매우 어려운 보고서를 쓰는 경향이 있다고 지적한다. 모델이 실제로 무엇을 했고 핵심 결과가 무엇인지 파악하려면 일종의 질의응답식 '취조'가 필요할 때가 많다는 것이다. 그는 여기서 미묘한 위험도 짚는다. 그 과정이 번거롭다 보니 '아무려면 어때' 하고 그냥 모델이 하는 대로 내버려 두고 싶은 유혹이 생긴다는 것이다. 검증을 생략한 자동화는 겉보기 생산성과 실제 신뢰도 사이의 간극을 키운다.
아직은 '목자'가 필요하다
댓글 토론에서 한 참여자는 이 진단에 동의하며 균형점을 제시한다. AI는 올바른 방향—참조해야 할 핵심 자료, 끌어올려야 할 최적의 지표, 사람이 가장 놀랄 만한 이야기의 핵심—을 가리켜주면 유능하지만, 그 방향을 먼저 잡아주는 일은 여전히 사람이 해야 한다는 것이다. 흥미로운 점은 이런 '양치기' 역할이 여전히 필요하다는 사실 자체가 다소 기묘하게 여겨진다는 반응이다. 그리고 이것이 단순한 감이나 일화가 아니라 경험적으로 확인된다고 덧붙이며, AI R&D 자동화에 관한 근거로 P-Zero의 TasteVal, Epoch의 InnovationEval 등 전용 평가 지표들을 언급했다.
한국의 IT 실무자에게 이 기록이 주는 함의는 분명하다. 모델을 '자율 연구원'으로 상정하고 과제를 통째로 맡기는 방식은 측정 지표가 명확하고 반복이 빠른 좁은 영역을 벗어나면 기대만큼 작동하지 않을 수 있다. 어떤 자료가 결정적인지, 어떤 지표를 올려야 하는지, 결과 보고가 실제로 검증 가능한지를 사람이 설계하고 점검하는 구조가 여전히 생산성의 핵심 변수다. 이는 한 사람의 개인 관찰이라는 분명한 한계를 지니지만, 자동화의 성과를 과신하기 전에 '방향 설정과 검증'이라는 인간의 역할을 어떻게 워크플로에 남겨둘지 먼저 설계하라는 실천적 권고로 읽힌다.