신경망은 속으로 기호를 다룬다? 벡터 표현의 상징적 구조를 파헤친 연구

현대 인공지능이 잘 해내는 일들에는 묘한 역설이 있다. 논리, 언어, 산술처럼 사람이 오랫동안 '기호(symbol)의 조합'으로 이해해 온 영역에서 신경망이 뛰어난 성능을 보이기 때문이다. 전통적으로 지능은 논리식처럼 구조화된 기호를 다루는 과정으로 모델링돼 왔다. 반면 오늘날 가장 강력한 AI 시스템의 토대인 신경망은 정보를 연속적인 벡터, 즉 숫자의 나열로 표현한다. 언어와 논리의 구조를 담기에는 어울리지 않아 보이는 이 벡터 표현이 어떻게 그런 구조적 과제를 풀어내는가. arXiv에 공개된 'The Emergent Symbolic Structure of Artificial Neural Networks'는 바로 이 질문을 정면으로 다룬다.

연구진이 제시하는 가설은 단순하면서도 도발적이다. 겉보기와 달리 신경망의 내부 표현이 암묵적으로 기호적 구조를 구현하고 있을 수 있다는 것이다. 벡터라는 형식을 취하고 있을 뿐, 그 안에서 실제로 벌어지는 계산은 기호를 조합하는 것과 다르지 않을 수 있다는 주장이다. 이는 기호주의(symbolic AI)와 연결주의(connectionism)라는, 인공지능 역사에서 오래 대립해 온 두 전통을 화해시키려는 시도이기도 하다.

표현 생성 과정을 수식으로 대체하다

가설을 뒷받침하기 위해 연구진이 택한 방법은 검증 가능성이 높다. 이들은 신경망이 벡터 표현을 만들어내는 전체 과정을, 기호적 구조를 담은 닫힌 형식(closed-form)의 방정식으로 통째로 대체했다. 그리고 그렇게 바꾼 뒤에도 신경망의 동작이 대체로 그대로 유지되는지를 확인했다. 만약 내부의 복잡한 벡터 연산이 사실상 어떤 기호적 구조를 근사하고 있는 것이라면, 그 구조를 명시적인 수식으로 갈아끼워도 결과가 크게 달라지지 않아야 한다는 논리다. 실험 결과는 이 예측과 부합했다.

이 발견은 특정 규모의 모델에만 국한되지 않았다. 리스트(list)를 조작하도록 훈련된 소규모 신경망에서도, 그리고 대형 언어모델(LLM)에서도 같은 양상이 나타났다. 특히 LLM에 대해서는 기호주의 전통에서 핵심적으로 다뤄 온 네 개 영역, 즉 산술·논리·컴퓨터 코드·언어에서 검증이 이뤄졌다. 이 네 영역은 모두 명확한 구조와 규칙이 존재하는 곳으로, 기호적 해석이 특히 의미를 갖는 지점이다.

개입으로 확인한 인과성

연구가 상관관계 관찰에 그치지 않았다는 점도 눈여겨볼 만하다. 연구진은 자신들이 찾아낸 기호적 근사를 이용해 LLM의 내부 표현에 정밀하게 개입하고, 그 결과 모델의 행동을 원하는 방향으로 겨냥해 바꿀 수 있음을 보였다. 즉 특정 기호 구조를 건드리면 그에 연동된 출력이 예측 가능하게 달라진 것이다. 이는 해당 기호 구조가 단순한 사후 해석이 아니라 모델의 실제 동작이 의존하는 대상임을 시사한다. 내부 표현을 겨냥한 개입으로 인과성을 확인했다는 점에서, 이 작업은 해석가능성(interpretability) 연구의 방법론적 흐름과도 맞닿아 있다.

실무 관점에서 이 연구가 주는 함의는 분명하다. 모델의 내부를 기호적 구조로 근사할 수 있다면, 블랙박스로 여겨지던 LLM의 동작을 사람이 읽을 수 있는 형태로 설명하고, 나아가 미세하게 제어할 여지가 생긴다. 원치 않는 행동을 억제하거나 특정 추론 경로를 조정하는 등, 재훈련 없이 표현 수준에서 모델을 손보는 접근의 이론적 토대가 될 수 있다. 산술과 코드처럼 규칙이 명확한 과제에서 모델이 왜 특정 답을 내놓는지를 추적하려는 엔지니어에게는 특히 참고할 만한 방향이다.

다만 한계도 분명히 인식해야 한다. 이 연구는 어디까지나 근사가 '가능하다'는 것을 보여줄 뿐, 신경망이 반드시 기호 구조 그 자체로 동작한다고 단정하지는 않는다. '대체 후에도 동작이 대체로 유지된다'는 서술에는 완벽하지 않은 오차가 함축돼 있고, 검증이 이뤄진 네 영역이 상대적으로 구조가 뚜렷한 과제라는 점도 고려해야 한다. 규칙이 흐릿하고 애매한 실제 언어 사용이나 개방형 추론 전반으로 이 결론이 얼마나 확장될지는 아직 열린 문제다. 그럼에도 벡터 기반 AI의 내부에서 기호적 질서를 찾아내려는 이 시도는, 오래된 지능관과 오늘날의 신경망을 잇는 다리로서 충분히 주목할 가치가 있다.