트랜스포머가 등장한 2017년 논문 제목은 다들 한 번쯤 들어보셨을 거예요. 'Attention Is All You Need'요. 지금 쓰고 있는 ChatGPT, Claude, Gemini 같은 대형 언어 모델은 거의 다 이 논문에서 나온 셀프 어텐션(self-attention)을 핵심 부품으로 쓰고 있어요. 그런데 2025년 말 arXiv에 이 제목을 정면으로 뒤집은 논문이 올라왔어요. 제목이 무려 'Attention Is Not What You Need'예요. 제목만 보면 밈 같지만, 읽어보면 '어텐션이 실제로 하는 일을 다시 생각해보자'는 꽤 진지한 문제의식이 담겨 있어요.
먼저, 어텐션이 왜 문제일까요
어텐션은 문장 속 모든 단어가 다른 모든 단어를 한 번씩 보면서 '너랑 나랑 얼마나 관련 있어?'를 계산하는 방식이에요. 학생 100명이 있는 교실에서 모든 학생이 나머지 99명과 한 명씩 면담한다고 생각하면 쉬워요. 결과는 정확하지만 학생 수가 두 배가 되면 면담 횟수는 네 배로 늘어나요. 이걸 시퀀스 길이에 대한 이차(quadratic) 복잡도라고 해요. 컨텍스트가 길어질수록 연산량과 메모리가 급격히 늘어나는 이유가 바로 이거예요.
논문의 핵심 아이디어: 어텐션은 사실 '공간 끌어올리기'다
이 논문은 어텐션을 일종의 텐서 리프팅(tensor lifting)으로 해석해요. 쉽게 말하면, 각 토큰 벡터를 '토큰 쌍 사이의 관계'라는 훨씬 큰 공간으로 끌어올렸다가 다시 접어 내리는 과정이라는 거예요. 문제는 이 공간이 너무 자유로워서, 모델 안에서 무슨 일이 일어나는지 수학적으로 추적하기 어렵다는 점이에요.
그래서 저자는 대안으로 그라스만 다양체(Grassmann manifold)라는 기하학 도구를 가져와요. 이름은 어렵지만, '어떤 공간 안에 있는 평면(부분공간)들을 전부 모아둔 집합'이라고 보시면 돼요. 예를 들어 3차원 공간에서 원점을 지나는 평면 하나하나를 점 하나로 보고 모아둔 공간이에요.
제안된 레이어는 대략 이렇게 동작해요.
1. 토큰의 은닉 상태(hidden state)를 작은 차원으로 선형 축소해요.
2. 가까이 있는 토큰 두 개를 묶어서, 두 벡터가 만드는 2차원 평면을 그라스만 다양체 위의 점 하나로 표현해요. 이때 플뤼커 좌표(Plücker coordinates)라는 방법으로 평면을 숫자 벡터로 바꿔요.
3. 이렇게 얻은 기하학적 특징을 게이트(gate)를 통해 원래 은닉 상태에 다시 섞어 넣어요.
핵심은 모든 토큰 쌍을 다 보는 대신 가까이 있는 토큰 쌍만 기하학적으로 인코딩한다는 점이에요. 그래서 축소한 차원(랭크)을 고정하면 연산량이 시퀀스 길이에 비례해서만(선형으로) 늘어나요. 100명이 전부 면담하는 대신 옆자리 친구들하고만 이야기하고, 그 대화의 '방향'을 아주 정교하게 기록하는 셈이에요.
결과는 어땠을까
실험 규모는 꽤 작아요. 수천만 파라미터 이하의 언어 모델을 Wikitext-2 같은 소형 벤치마크에서 돌렸는데, 같은 크기 트랜스포머에 근접했지만 완전히 따라잡지는 못했어요. 문장 관계 추론(NLI) 과제에서는 기존 모델 위에 이 레이어를 헤드로 얹었을 때 트랜스포머 헤드와 비슷한 결과가 나왔고요. 그러니까 '어텐션을 이겼다'보다는 '어텐션 없이도 이 정도는 된다'를 보여준 논문에 가까워요.
업계 맥락: 어텐션을 대체하려는 시도들
사실 어텐션을 대체하려는 시도는 이번이 처음이 아니에요. Mamba로 대표되는 상태공간모델(SSM)은 정보를 고정 크기 '상태'에 압축해서 흘려보내는 방식으로 선형 복잡도를 얻었어요. RWKV는 추론할 때는 RNN처럼, 학습할 때는 트랜스포머처럼 병렬로 처리하는 구조를 만들었고요. 선형 어텐션(linear attention) 계열은 어텐션 수식 자체를 근사해서 비용을 줄였어요.
흥미로운 건, 산업 현장에서는 '완전 대체'보다 하이브리드가 자리 잡고 있다는 점이에요. AI21의 Jamba나 알리바바의 Qwen3-Next처럼 어텐션 레이어 일부를 선형 계열 레이어로 바꿔 섞는 식이에요. 이 논문은 효율보다 해석 가능성에 더 무게를 둬요. 어텐션 맵은 시각화하기는 쉬워도 '왜 그렇게 동작하는지' 수학적으로 설명하기는 어려운데, 기하학적 구조를 쓰면 모델 내부를 더 원리적으로 분석할 수 있다는 주장이에요. 다만 수십억 파라미터 규모에서도 통할지는 아직 전혀 검증되지 않았어요. 작은 모델에서 잘 되던 아이디어가 규모를 키우면 무너지는 경우가 이 분야엔 정말 많거든요.
한국 개발자에게 주는 시사점
당장 이 레이어를 프로덕션 모델에 넣을 일은 없을 거예요. 그래도 가져갈 만한 게 두 가지 있어요.
첫째, '어텐션이 곧 정답'이라는 고정관념을 잠시 내려놓는 연습이에요. 긴 문서 처리나 온디바이스 추론처럼 메모리와 연산이 빠듯한 환경에서는 선형 복잡도 구조가 실제 선택지가 되고 있어요. 모바일이나 엣지 AI를 하는 팀이라면 SSM과 하이브리드 구조의 흐름을 꾸준히 지켜보는 게 좋아요.
둘째, 논문 읽는 눈이에요. 제목이 도발적인 논문일수록 실험 규모, 비교 대상(베이스라인), 데이터셋부터 확인하는 습관을 들이면 좋아요. 이번 논문도 아이디어는 신선하지만 결론을 내리기엔 근거가 아직 작다는 걸 스스로 판단할 수 있어야 하거든요. 선형대수에 관심이 있다면 이 기회에 그라스만 다양체와 플뤼커 좌표를 공부해보는 것도 재밌을 거예요.
마무리
한 줄 정리: 어텐션을 버리자는 선언이라기보다, 어텐션이 하는 일을 기하학으로 다시 읽어보자는 흥미로운 제안이에요.
여러분은 어떻게 생각하세요? 트랜스포머의 어텐션은 앞으로도 오래 표준으로 남을까요, 아니면 하이브리드 구조를 거쳐 결국 다른 무언가로 대체될까요?
🔗 출처: Hacker News