TECH 으로 돌아가기
TECH HACKER NEWS 7분 읽기 72 READS

LLM은 단어 순서를 어떻게 알까? 위치 임베딩, 번호표에서 RoPE까지 한 번에 이해하기

LLM은 단어 순서를 어떻게 알까? 위치 임베딩, 번호표에서 RoPE까지 한 번에 이해하기
SOURCE IMAGE · HACKER NEWS
LLM은 단어 순서를 어떻게 알까? 위치 임베딩, 번호표에서 RoPE까지 한 번에 이해하기

'개가 사람을 물었다'와 '사람이 개를 물었다'

두 문장은 단어가 똑같고 순서만 달라요. 사람은 당연히 다른 뜻으로 읽지만, LLM의 뼈대인 트랜스포머는 그대로 두면 이 차이를 구분하지 못해요. 『밑바닥부터 만들면서 배우는 LLM』의 저자 세바스찬 라시카가 최신 LLM의 위치 임베딩(positional embedding)을 정리한 글을 냈는데요. 모델 설정 파일에서 rope_theta 같은 값을 보고 '이게 뭐지?' 했던 분들에게 딱 맞는 주제라서, 기초부터 차근차근 풀어볼게요.

트랜스포머는 왜 순서를 모를까요

트랜스포머의 핵심인 어텐션은 문장 속 모든 단어가 서로를 한꺼번에 쳐다보면서 '나랑 관련 깊은 단어가 누구지?'를 계산하는 방식이에요. 그런데 이 계산은 단어를 줄 세워서 보는 게 아니라 한 바구니에 담아놓고 보는 것과 같아요. 바구니 안에서는 누가 앞이고 뒤인지 알 수 없거든요. 그래서 '너는 몇 번째 자리야'라는 정보를 따로 넣어줘야 하는데, 그 방법이 위치 임베딩이에요.

1세대: 자리마다 번호표 붙이기

가장 단순한 방법은 절대 위치 임베딩이에요. 2017년 원조 트랜스포머 논문은 사인·코사인 함수로 만든 고정 패턴을 각 자리에 더해줬고, GPT-2나 BERT는 자리마다 벡터를 하나씩 두고 학습시켰어요. GPT-2를 예로 들면 1,024개 자리마다 768차원짜리 벡터가 표처럼 저장돼 있고, 입력이 들어오면 단어 임베딩 + 위치 임베딩을 더해서 첫 층에 넣어요. 극장 좌석마다 번호표를 붙이는 것과 비슷해요.

직관적이지만 약점이 있어요. 표에 없는 자리, 그러니까 1,025번째 토큰은 처리할 방법이 없어요. 그리고 언어에서 정말 중요한 건 '내가 500번째다'가 아니라 '저 단어가 내 바로 앞에 있다' 같은 상대적인 거리인데, 절대 번호만으로는 모델이 그걸 빙 돌아서 배워야 해요.

2세대: 거리 자체를 알려주기

그래서 나온 게 상대 위치 계열이에요. T5는 두 토큰의 거리에 따라 어텐션 점수에 학습된 보정값을 더하고, ALiBi는 더 단순하게 '멀수록 점수를 깎는' 직선 형태의 벌점을 줘요. 입력 벡터를 건드리는 대신 어텐션 계산 단계에서 거리를 반영한다는 게 공통점이에요.

지금의 표준: 벡터를 회전시키는 RoPE

요즘 공개 LLM 대부분이 쓰는 방식은 RoPE(Rotary Position Embedding)예요. Llama, Mistral, Qwen, Gemma 같은 모델이 모두 이걸 써요. 위치 정보를 '더하는' 게 아니라 벡터를 '돌리는' 게 핵심 아이디어예요.

시계를 떠올려 보세요. 벡터의 숫자들을 두 개씩 짝지어 시곗바늘 하나로 보고, 토큰이 놓인 자리만큼 바늘을 돌려요. 3번째 토큰은 3칸, 10번째 토큰은 10칸 돌리는 식이죠. 그러면 두 토큰을 비교할 때 남는 건 각 바늘이 어디를 가리키느냐가 아니라 두 바늘 사이의 각도 차이예요. 3번째와 10번째의 관계도, 103번째와 110번째의 관계도 똑같이 '7칸 차이'로 계산돼요. 절대 위치를 넣었는데 상대 거리가 자연스럽게 튀어나오는 구조인 셈이에요.

바늘이 하나뿐이면 한 바퀴 돌았을 때 구분이 안 되니까, 초침·분침·시침처럼 도는 속도가 다른 바늘을 수십 쌍 둬요. 빠른 바늘은 가까운 토큰 사이의 세밀한 차이를, 느린 바늘은 멀리 떨어진 위치를 구분해요. 이 속도를 정하는 기준값이 설정 파일의 rope_theta예요. 원래 논문은 10,000을 썼고, Llama 3는 더 긴 문맥을 다루려고 500,000으로 키웠어요.

RoPE는 첫 층에서 한 번 더하고 끝나는 게 아니라 모든 층의 어텐션에서 쿼리와 키 벡터에 매번 적용돼요. 따로 학습할 파라미터가 없어서 모델 크기가 늘지도 않고요.

문맥 길이를 늘리는 싸움과도 이어져요

위치 임베딩은 '이 모델이 얼마나 긴 글을 읽을 수 있나'와 직접 연결돼요. 4천 토큰까지만 학습한 모델에 3만 토큰을 넣으면, 모델은 한 번도 본 적 없는 각도의 바늘을 만나게 되거든요. 그래서 바늘 속도를 조정해 긴 위치를 익숙한 범위로 끌어오는 위치 보간, NTK 스케일링, YaRN 같은 기법들이 나왔어요.

실무에서 이걸 알면 뭐가 좋을까요

API만 호출해서 쓸 때는 몰라도 되는 내용 같지만, 오픈 모델을 직접 서빙하거나 파인튜닝하는 순간 바로 마주쳐요. llama.cpp의 --rope-freq-base나 --rope-scaling 옵션, 허깅페이스 설정의 max_position_embeddings가 무슨 뜻인지 알면 '문맥을 억지로 늘렸더니 답이 이상해졌다' 같은 문제를 훨씬 빨리 진단할 수 있어요.

판단에도 도움이 돼요. 문맥 창이 아무리 크다고 해도 뒤쪽 위치까지 똑같이 잘 학습됐다는 보장은 없거든요. 긴 문서를 통째로 넣을지, RAG(검색해서 필요한 부분만 골라 넣는 방식)를 쓸지 정할 때 이 배경지식이 기준이 돼요. 직접 짜보는 것도 추천해요. RoPE는 파이토치로 수십 줄이면 구현되고, 한 번 손으로 짜보면 논문 수식이 훨씬 편하게 읽혀요.

마무리

한 줄로 정리하면, 위치 임베딩은 '번호표를 더하는 방식'에서 '거리만큼 회전시키는 방식'으로 넘어왔고, 지금은 RoPE가 사실상 표준이에요. 여러분은 긴 문맥에서 모델 성능이 떨어지는 걸 체감해 본 적이 있나요? 그때 원인이 위치 표현에 있을 수 있다고 생각해 보셨나요?


🔗 출처: Hacker News

SOURCE · HACKER NEWS
원문 전체 보기 → https://magazine.sebastianraschka.com/p/understanding-positi...
SHARE
NEXT · CHOOSE

변화를 읽었다면,
내가 만들 수익 구조를 고릅니다.

정보를 더 모으는 데서 멈추지 않고, 광고·외주·판매·중개·구독 중 내 상황에 맞는 출발점을 정해보세요.

21가지 수익 구조 살펴보기 →
처리 중...