프런티어 언어 모델의 성능을 이야기할 때 물리학은 오랫동안 약점으로 지목돼 왔다. 과학적 추론과 정량적 문제 해결 능력을 동시에 요구하는 분야이기 때문이다. 실제로 널리 인용되는 물리 벤치마크들, 그리고 2026년판 Artificial Analysis Intelligence Index에 포함된 지표들에서 최신 모델의 점수는 낮게 나왔고, 이는 곧 '모델이 아직 고급 물리를 제대로 못 푼다'는 인상으로 굳어졌다. 그러나 정작 연구 현장에서 이 모델들을 도구로 쓰는 물리학자들의 체감은 그 점수와 잘 맞지 않았다. arXiv에 공개된 논문 'How good are frontier models at physics?'는 바로 이 괴리에서 출발한다.
낮은 점수의 출처를 되짚다
연구진은 여섯 개의 널리 쓰이는 물리 벤치마크를 대상으로 프런티어 모델을 다시 평가했다. 대상은 텍스트로만 구성되고 최종 답을 검증할 수 있는 문제로 한정했다. 핵심은 단순 재측정이 아니라 전문가 감사(audit)다. 각 물리 세부 분야의 교수진과 대학원 연구자들이 문제 서술, 참조 정답(reference solution), 그리고 모델의 응답을 하나하나 검토했다. 목적은 '오답'으로 처리된 사례를 세 가지로 구분해 내는 것이었다. 진짜 모델의 물리 추론 오류인지, 채점기(grader)의 오류인지, 참조 정답 자체가 틀렸거나 문제가 모호하고 조건이 불충분한 탓인지를 가려낸 것이다.
결과는 통념을 뒤집는다. 처음에 오답으로 집계된 사례 대부분이 모델의 물리 실력 문제가 아니라 벤치마크 자체의 결함에서 비롯된 것으로 나타났다. 즉 점수가 낮았던 원인의 상당 부분은 채점 방식과 정답지의 오류, 애매하게 출제된 문항에 있었다는 뜻이다.
교정 후 드러난 실제 성능
연구진은 여기서 멈추지 않고 전문가들에게 잘못된 참조 정답을 바로잡고, 결함이 있는 문항은 수리하거나 평가 대상에서 제외하도록 했다. 이렇게 정제한 평가 부분집합에서 점수를 다시 계산하자 수치가 크게 달라졌다. GPT-5.6-Sol의 mean@4 기준으로 HLE-Physics는 47.3%에서 78.7%로, CMT-Benchmark는 61.0%에서 87.2%로 올랐다. 검토를 거쳐 남긴 54개의 CritPt 문제에서는 교정된 pass@4가 94.4%에 이르렀다. UGPhysics, PRISM-Physics, PHYBench의 감사 대상 부분집합에서도 교정 후 점수가 상당히 상승했다.
이 결과가 의미하는 바는 분명하다. 현재의 물리 벤치마크들이 잘 정의된(well-posed) 문제를 푸는 프런티어 모델의 실제 능력을 상당히 과소평가하고 있다는 것이다. 낮은 점수를 근거로 '모델이 물리에 약하다'고 결론짓기 전에, 그 점수를 만들어 낸 채점 파이프라인과 정답 데이터의 품질부터 의심해야 한다는 얘기다.
실무자에게 주는 시사점과 한계
IT 실무자, 특히 모델 평가와 벤치마크를 다루는 이들에게 이 연구는 두 가지를 상기시킨다. 첫째, 공개 리더보드의 점수는 그 자체가 진실이 아니라 채점 기준과 정답지라는 매개를 거친 값이다. 자동 채점이 표현 차이나 동등한 형태의 답을 오답으로 처리하거나, 정답지 자체가 틀려 있을 수 있다. 도메인 지식 없이 숫자만 비교하면 모델의 실제 역량을 오독하기 쉽다. 둘째, 벤치마크 결함을 걸러 내려면 결국 해당 분야 전문가의 검수가 필요하며, 이는 자동화만으로는 대체하기 어려운 비용이다.
다만 이 연구의 결론을 확대 해석하는 것은 경계해야 한다. 평가는 최종 답을 검증할 수 있는 텍스트 기반 폐쇄형(closed-ended) 문제에 한정됐고, 점수 상승분은 전문가 검토를 거쳐 남긴 부분집합에서 계산된 값이다. 풀이 과정의 타당성, 개방형 연구 문제, 도표나 실험 설계가 얽힌 과제까지 같은 결론이 적용된다고 볼 근거는 이 자료 안에 없다.
오히려 연구진이 짚는 핵심은 여기에 있다. 이런 폐쇄형 과제에서 모델이 사실상 포화(near-saturation) 수준에 다다랐다면, 지금의 벤치마크는 더 이상 변별력을 갖기 어렵다. 앞으로 필요한 것은 결함을 걸러 낸 깨끗한 데이터를 넘어, 전문가가 검증한 더 까다로운 평가 체계다. 모델이 물리에 약한지를 묻던 질문이, 이제는 우리가 모델을 제대로 채점하고 있는지를 묻는 질문으로 옮겨 가고 있는 셈이다.