트랜스포머가 자연어 처리의 사실상 표준이 된 지 여러 해가 지났지만, 그 핵심인 셀프 어텐션이 정말로 불가결한 구성요소인지는 여전히 열린 질문이다. arXiv에 공개된 논문 'Attention Is Not What You Need'는 제목부터 2017년의 유명한 'Attention Is All You Need'를 정면으로 비튼다. 저자들은 어텐션이 성능과 추론 능력을 위해 반드시 필요한 장치인지 되묻고, 어텐션을 쓰지 않는 대안 구조를 제시하며 실제 벤치마크로 그 가능성을 가늠한다.
어텐션을 바라보는 다른 시각
논문의 출발점은 멀티헤드 어텐션에 대한 재해석이다. 저자들은 표준 어텐션을 일종의 '텐서 리프팅'으로 본다. 은닉 벡터를 토큰 쌍들의 상호작용으로 이루어진 고차원 공간으로 끌어올린 뒤, 경사하강법으로 그 들어올려진 텐서를 제약해 가며 학습한다는 설명이다. 이 방식은 표현력이 대단히 크지만 수학적으로는 불투명하다는 것이 핵심 지적이다. 층을 여러 겹 쌓고 나면 모델이 무엇을 하고 있는지를 소수의 명시적 불변량으로 기술하기가 매우 어려워지기 때문이다. 즉 잘 작동하지만 왜 그런지 간결하게 설명하기 어려운 구조라는 것이다.
이 불투명함을 줄이기 위해 저자들이 내놓은 대안이 '그라스만 흐름(Grassmann flow)'에 기반한 어텐션 프리 구조다. 기존처럼 길이 L의 시퀀스에 대해 L×L 어텐션 행렬을 만드는 대신, 제안된 인과적 그라스만 층은 세 단계로 동작한다. 먼저 토큰 상태를 선형적으로 축소하고, 다음으로 국소적인 토큰 쌍을 플뤼커 좌표를 통해 그라스만 다양체 위의 2차원 부분공간으로 부호화하며, 마지막으로 이렇게 얻은 기하학적 특징을 게이트 방식의 혼합을 통해 다시 은닉 상태로 융합한다.
다양체 위에서 흐르는 정보
이 설계의 의미는 정보가 전파되는 방식에 있다. 정보는 다중 스케일의 국소 윈도우에 걸쳐 저계수(low-rank) 부분공간을 제어된 방식으로 변형시키며 흐른다. 따라서 핵심 연산이 구조가 없는 텐서 공간이 아니라 유한 차원의 다양체 위에서 일어난다. 저자들은 이런 기하학적 설계가 신경망의 추론을 불변량 중심으로 해석하는 더 구조적인 경로를 열어 준다고 주장한다. 블랙박스에 가까운 어텐션 대신, 정의된 기하 구조 안에서 계산을 추적할 여지를 남긴다는 취지다.
성능 수치도 함께 제시됐다. Wikitext-2 언어 모델링 벤치마크에서 1,300만~1,800만 파라미터 규모의 순수 그라스만 모델은 같은 크기의 트랜스포머 대비 검증 perplexity가 약 10~15% 이내 범위에 들었다. 완전히 앞서지는 못하지만 비슷한 수준에 근접했다는 뜻이다. 자연어 추론 과제인 SNLI에서는 DistilBERT 위에 그라스만-플뤼커 헤드를 올린 구성이 트랜스포머 헤드를 근소하게 앞섰다. 최고 검증·테스트 정확도가 각각 0.8550과 0.8538로, 트랜스포머 헤드의 0.8545와 0.8511을 소폭 웃돌았다. 또한 계수를 고정하면 시퀀스 길이에 대해 선형으로 확장된다는 점을 복잡도 분석으로 보였다.
실무 관점에서 본 의미와 한계
실무자 입장에서 이 연구의 가치는 당장의 대체 기술이라기보다 방향성에 있다. 어텐션의 2차 복잡도와 해석 곤란함은 오래된 숙제이고, 길이에 선형으로 확장되는 대안 자체는 여러 갈래로 연구돼 왔다. 그라스만 흐름은 여기에 미분기하학적 언어를 끌어들여 '해석 가능성'이라는 축을 전면에 내세운다는 점이 특징이다. 모델이 유한 차원 다양체 위에서 동작한다면, 내부 표현을 불변량으로 기술하려는 시도가 원리적으로 더 수월해질 수 있다.
다만 결과를 과대 해석하지 않는 신중함이 필요하다. 실험은 1,300만~1,800만 파라미터급의 작은 모델과 Wikitext-2, SNLI라는 제한된 과제에 머물러 있고, 언어 모델링에서는 동급 트랜스포머를 넘어서지 못한 채 근접하는 데 그쳤다. SNLI의 우위도 소수점 셋째 자리 수준의 미세한 차이다. 대규모 모델, 긴 문맥, 생성 품질, 하드웨어 최적화 같은 실전 조건에서 이 구조가 어텐션만큼 버틸 수 있을지는 아직 검증되지 않았다. 지금 단계에서 적절한 태도는 트랜스포머를 대체할 후보가 등장했다고 보기보다, 어텐션을 당연한 전제로 두지 않고 기하학적으로 더 투명한 설계를 모색하는 연구 흐름의 한 사례로 받아들이는 것이다.