과학적 발견은 무엇이 참인가에 의해서만 제약되지 않는다. 연구자들이 인지적으로 접근할 수 있는 범위, 즉 '떠올릴 수 있는' 방향에 의해서도 제약된다. 기존 문헌에 비추어 충분히 논리적으로 성립하는 연구 방향이라 하더라도, 관련 개념과 방법론, 직관을 한데 묶을 수 있는 연구 공동체가 존재하지 않으면 그 방향은 좀처럼 제안되지 않는다. arXiv에 공개된 이 연구는 바로 이 사각지대를 정면으로 겨냥한다. 저자들은 과학적으로 타당하지만 현존하는 연구자 분포상 제안될 가능성이 낮은 영역을 '과학의 외계 공간(alien space of science)'이라 부른다.
언어 모델이 물려받은 편향
문제의 핵심은 대규모 언어 모델이 이 인간적 편향을 그대로 물려받는다는 점이다. 모델에게 '새로운 아이디어'를 요청하면, 모델은 문헌에서 밀도가 높은 영역, 즉 이미 많은 연구가 몰려 있는 지점의 개념들을 다시 조합하는 경향을 보인다. 결과적으로 그럴듯하지만 익숙한 방향이 나온다. 연구진의 문제의식은 이것이 진정한 참신함이 아니라 기존 분포의 재생산에 가깝다는 데 있다. 가속은 하되 보완은 하지 못하는 셈이다.
이에 대응해 연구진은 논문을 개념 단위로 분해하고 이를 군집화해 '아이디어 원자(idea atoms)'라 부르는 어휘집을 구축한다. 그다음 두 개의 모델을 분리해 작동시킨다. 하나는 특정 원자 조합이 실행 가능한 연구 방향을 이루는지를 평가하는 정합성(coherence) 모델이고, 다른 하나는 그 조합을 실제로 만들어낼 수 있는 저자 공동체가 존재하는지를 평가하는 가용성(availability) 모델이다. 핵심 아이디어는 명료하다. 정합성은 최대화하되 가용성은 최소화하는 방향으로 조합의 순위를 매긴다. 즉 '말은 되지만 아무도 하고 있지 않은' 조합을 위로 끌어올린다.
평가 설계와 수치
검증은 NeurIPS, ICLR, ICML을 비롯한 주요 자연어처리 학회의 동료 심사 통과 LLM 논문 1만 6,068편을 대상으로 이뤄졌다. 저자들에 따르면 이 샘플러는 프런티어 LLM 기반 비교군보다 더 다양한 연구 포트폴리오를 만들어냈다. 여기에는 자신의 전체 출력을 보면서 중복을 피할 수 있도록 배치 프롬프트를 적용한 변형 모델까지 포함된다. 그러면서도 개별 아이디어의 품질은 블라인드 상태의 인간 평가, LLM 평가, 그리고 실제 실험으로 이어지는 다운스트림 평가 모두에서 비교군과 대등하거나 그 이상이었다고 한다. 다양성을 높이면 품질이 떨어진다는 통상의 우려를 겨냥한 설계로 읽힌다.
시간적 검증 방식도 주목할 만하다. 모든 구성 요소가 2025년 이전 데이터만 사용하도록 제한한 뒤, 2025년에 실제로 등장한 조합을 얼마나 되살려내는지 측정했다. 전체 후보 공간의 1% 미만만 선택했을 때 2025년 조합을 무작위 대비 35.9배 수준으로 회수했고, 가용성이 낮은 조합에 가중치를 더 주자 엄밀하게 새로운 조합의 회수율은 무작위 대비 3.24배로 올라갔다. 미래에 실제로 나타난 방향을, 그 시점 이전의 정보만으로 상당 부분 선별해냈다는 주장이다.
실무자에게 주는 함의
이 접근의 실무적 가치는 '과학적 타당성'과 '공동체 가용성'을 명시적으로 분리했다는 데 있다. 연구 아이디어를 평가할 때 우리는 흔히 두 가지를 뒤섞는다. 이 방향이 말이 되는가, 그리고 이 방향을 누가 밀고 나갈 수 있는가. 두 질문을 분리하면, 아무도 다루지 않아 저평가됐을 뿐 실제로는 유망한 교차 영역을 체계적으로 탐색하는 도구를 만들 수 있다. 연구 기획, 포트폴리오 구성, 신규 과제 발굴을 담당하는 조직이라면 LLM을 단순 브레인스토밍 도구로 쓰는 것을 넘어, 조직의 전문성 분포에서 의도적으로 벗어난 조합을 찾는 용도로 재배치할 여지를 보여준다.
다만 한계도 분명히 짚어둘 필요가 있다. 이 방법은 LLM 연구라는 특정 분야의 논문 집합 위에서 검증됐고, 아이디어 원자로의 분해와 군집화 품질이 결과 전체를 좌우한다. 가용성이 낮다는 것은 곧 그 조합을 실현할 전문가 공동체가 희박하다는 뜻이기도 하므로, 선별된 방향이 매력적일수록 실제 수행 난도는 높아질 수 있다. 또한 2025년 조합 회수율이 무작위 대비 수십 배라 해도 절대적인 적중 규모 자체는 후보 공간의 성격에 크게 의존한다. 그럼에도 이 연구가 던지는 메시지는 간명하다. AI 아이디어 생성의 목표는 인간 과학을 더 빨리 돌리는 것이 아니라, 공동체가 구조적으로 지나쳐 온 정합적 방향으로 탐색의 경계를 넓히는 것이어야 한다는 점이다.