1911년 로제 시소러스는 어떻게 NLP 연구의 공용 자원이 되었나

단어를 알파벳순이 아니라 '개념'으로 묶어 정리한 로제 시소러스(Roget's Thesaurus)는 19세기 중반 처음 등장한 이래 영어권 글쓰기의 표준 참고서로 자리 잡았다. 이번에 시카고대학교 ARTFL 프로젝트가 온라인으로 공개한 판본은 1911년판을 디지털화한 것으로, 그 원본 작업은 1988년 미국 뉴저지의 MICRA Inc.가 수작업 전사(manual transcription)를 통해 만들어 낸 것이다. 얼핏 보면 오래된 사전을 웹에 올려 둔 자료실처럼 보이지만, 실무자 관점에서 보면 이 판본이 만들어진 배경과 활용 맥락이 훨씬 더 흥미롭다.

1988년의 수작업 전사라는 선택

MICRA Inc.는 패트릭 J. 캐시디(Patrick J. Cassidy)가 이끈 회사로, 로제 시소러스뿐 아니라 1913년판 웹스터 사전(Webster's 1913 Dictionary)의 전자판도 함께 제작했다. 두 자료 모두 저작권이 만료된 오래된 판본을 골랐다는 점이 핵심이다. 1980년대 후반에는 광학 문자 인식(OCR) 기술이 지금처럼 신뢰할 만하지 않았기 때문에, 방대한 어휘 자료를 컴퓨터가 읽을 수 있는 형태로 옮기는 일은 사실상 사람이 한 글자씩 입력하는 수작업에 의존할 수밖에 없었다. 오늘날의 개발자 입장에서는 상상하기 어려운 노동 집약적 작업이지만, 바로 그 덕분에 기계가 다룰 수 있는 대규모 영어 어휘 데이터셋이 비교적 이른 시기에 확보될 수 있었다.

이 작업이 단순한 디지털 보존을 넘어서는 이유는, MICRA가 이를 자연어 이해(natural language understanding)와 의미 상호운용성(semantic interoperability) 연구의 일부로 진행했다는 데 있다. 즉 사람이 읽을 참고서를 웹에 올리는 것이 목적이 아니라, 소프트웨어가 단어들 사이의 의미 관계를 계산에 활용할 수 있는 원천 데이터를 만드는 것이 목표였다. 로제 시소러스는 이런 목적에 특히 잘 맞는 구조를 가지고 있다. 알파벳순 사전과 달리 개념 중심의 분류 체계를 따르기 때문에, 유의어와 반의어, 상위·하위 개념이 계층적으로 연결되어 있어 의미 관계를 기계적으로 추출하기에 유리하다.

공개 어휘 자원이 실무에서 갖는 가치

한국 IT 실무자에게 이 사례가 시사하는 바는 '자유롭게 쓸 수 있는 언어 데이터'의 확보가 갖는 전략적 가치다. 오늘날 대규모 언어 모델과 검색, 추천, 자동 태깅 시스템은 모두 방대한 텍스트 자원 위에서 작동하지만, 그 밑바탕에는 오랫동안 축적된 사전과 시소러스 같은 구조화된 어휘 자원이 있다. 저작권이 만료된 공개 자료를 기계 판독 가능한 형태로 정제해 두면, 라이선스 부담 없이 다양한 연구와 제품에 재활용할 수 있다. MICRA의 웹스터 1913 사전과 로제 시소러스 전자판이 수십 년에 걸쳐 여러 프로젝트에 인용되고 재배포되어 온 것도 이런 개방성 덕분이다.

특히 의미 상호운용성이라는 문제의식은 지금도 유효하다. 서로 다른 시스템이 같은 단어를 다른 개념으로 다루거나, 반대로 다른 표현을 같은 개념으로 묶어야 할 때, 개념 단위로 정리된 시소러스는 용어를 표준화하고 매핑하는 기준점이 될 수 있다. 검색 품질을 높이기 위한 질의 확장, 문서 분류를 위한 개념 태깅, 온톨로지 구축의 초기 골격 등에서 이런 자원은 여전히 실질적인 출발점 역할을 한다.

오래된 데이터를 쓸 때의 한계

다만 1911년판이라는 점은 그대로 한계로 이어진다. 100년도 더 전에 편집된 어휘 체계인 만큼, 이후 등장한 현대 용어나 기술·문화적 어휘는 담겨 있지 않고, 당대의 언어 감각과 분류 관점이 그대로 반영되어 있다. 또한 수작업 전사로 만들어진 자료인 이상 입력 과정에서 발생한 오류가 남아 있을 가능성도 배제하기 어렵다. 따라서 이 자료를 오늘날의 서비스에 직접 투입하기보다는, 역사적·구조적 참고 자원으로 삼거나 현대 어휘 자원과 결합해 보완하는 방식이 현실적이다.

결국 이 디지털 판본이 남기는 교훈은 데이터의 '내용' 못지않게 데이터를 다루는 '자세'에 있다. 자유롭게 재사용할 수 있는 원천을 고르고, 사람이 읽던 자료를 기계가 계산할 수 있는 구조로 옮기며, 그것을 특정 제품이 아니라 공용 연구 자산으로 남기려 한 접근은, 도구가 아무리 발전해도 언어 데이터를 다루는 이들이 참고할 만한 원칙으로 남는다.