TECH 으로 돌아가기
TECH HACKER NEWS 8분 읽기 85 READS

LLM 머릿속에서 대화는 어떤 모양일까, Qwen의 내부 상태 공간 들여다보기

LLM 머릿속에서 대화는 어떤 모양일까, Qwen의 내부 상태 공간 들여다보기
SOURCE IMAGE · HACKER NEWS
LLM 머릿속에서 대화는 어떤 모양일까, Qwen의 내부 상태 공간 들여다보기

무슨 이야기인가요

operator0x의 필드 노트 한 편이 흥미로운 질문을 던졌어요. 오픈 웨이트 모델 Qwen에 수천 개의 대화를 흘려 넣고, 그때 모델 내부에서 만들어지는 상태를 모아서 펼쳐보면 어떤 모양이 나올까 하는 거예요. 우리는 보통 LLM을 글을 넣으면 글이 나오는 상자로만 쓰는데요, 그 사이에는 거대한 숫자 덩어리가 층층이 흘러가고 있거든요. 그 숫자들을 지도처럼 그려보겠다는 시도예요.

원문의 그림과 세부 관찰은 직접 보시는 게 가장 좋아요. 여기서는 이런 분석이 어떤 원리로 가능한지, 왜 요즘 이런 작업이 중요해졌는지, 그리고 우리도 해볼 수 있는지를 풀어볼게요.

내부 상태, 이게 뭐냐면

LLM은 문장을 토큰이라는 조각으로 나눈 다음, 조각마다 숫자 수천 개로 이뤄진 벡터를 하나씩 붙여요. 이 벡터가 수십 개의 층을 지나가면서 조금씩 고쳐 써져요. 릴레이 메모지를 떠올리면 돼요. 앞쪽 층이 메모지에 '이 단어는 명사' 정도를 적어 넘기면, 뒤쪽 층들이 '앞 문장과 이어지는 내용', '사용자가 화가 난 것 같음' 같은 식으로 덧붙여 나가는 거죠. 연구자들은 이 메모지를 잔차 스트림(residual stream)이라고 불러요.

대화 하나의 '상태'는 보통 모델이 답을 쓰기 직전, 마지막 토큰 위치의 메모지를 꺼내서 정해요. 그 시점의 벡터에는 지금까지의 대화 전체가 압축돼 있거든요. 대화 수천 개를 넣으면 수천 차원 공간에 찍힌 점 수천 개가 생겨요.

문제는 사람이 수천 차원을 볼 수 없다는 거예요. 그래서 차원 축소를 써요. 둥근 지구를 평면 지도로 펴는 것과 같아요. PCA는 점들이 가장 넓게 퍼진 방향을 찾아 그쪽으로 눕히는 방법이고, UMAP이나 t-SNE는 가까이 있던 점들이 지도에서도 가까이 놓이도록 펼치는 방법이에요. 왜곡은 있지만 '코딩 질문은 이쪽, 고민 상담은 저쪽' 같은 대륙의 배치는 보이게 돼요.

직접 뽑아보는 것도 어렵지 않아요. Hugging Face의 transformers로는 이 정도면 돼요.

from transformers import AutoTokenizer, AutoModelForCausalLM

name = "Qwen/Qwen2.5-0.5B-Instruct"
tok = AutoTokenizer.from_pretrained(name)
model = AutoModelForCausalLM.from_pretrained(name)

msgs = [{"role": "user", "content": "리스트 정렬하는 법 알려줘"}]
inputs = tok.apply_chat_template(msgs, add_generation_prompt=True, return_tensors="pt", return_dict=True)
out = model(**inputs, output_hidden_states=True)
state = out.hidden_states[-1][0, -1] # 마지막 층, 마지막 토큰

이렇게 얻은 state를 대화마다 모아서 scikit-learn의 PCA에 넣으면 여러분만의 지도가 나와요.

지금까지의 연구가 알려준 것

이런 작업이 단순한 그림 놀이가 아닌 이유는, 모델 내부 공간에 꽤 뚜렷한 구조가 있다는 게 계속 확인되고 있기 때문이에요. 2024년의 한 연구는 Qwen을 포함한 여러 오픈 모델에서 '요청을 거절할지 말지'가 내부 공간의 한 방향으로 표현된다는 걸 보였어요. 그 방향을 지우면 모델이 거절을 못 하게 되고, 반대로 더해주면 멀쩡한 질문도 거절해요.

최근에는 관심이 단어나 문장을 넘어 대화 단위로 옮겨오고 있어요. 올해 초에는 대화가 이어지면서 모델의 상태가 '성실한 조수' 캐릭터에서 얼마나 멀어지는지를 내부 축 하나로 추적하고, 너무 멀어지면 붙잡아두는 연구가 Qwen, Gemma, Llama 같은 오픈 웨이트 모델을 대상으로 나왔어요. 대화의 상태 공간을 본다는 게 안전성 연구의 실용적인 도구가 되어가는 흐름이고, 이번 필드 노트도 그 연장선에서 읽을 수 있어요. 이런 실험은 가중치가 손에 있어야 가능해서, API로만 쓰는 모델로는 할 수 없다는 점도 오픈 웨이트 모델의 가치를 보여줘요.

다만 지도를 읽을 때 조심할 점도 있어요. 2차원 그림은 왜곡이 크고, 특히 UMAP은 설정값에 따라 군집 모양이 크게 달라져요. 어느 층에서, 어느 토큰 위치에서 뽑았느냐에 따라서도 전혀 다른 그림이 나오고요. 그리고 '그림에서 나뉘어 보인다'가 '모델이 그 구분을 실제로 쓴다'는 증거는 아니에요. 그래서 제대로 된 연구는 그 방향을 직접 건드려보고 행동이 바뀌는지 확인하는 실험을 꼭 붙여요.

한국 개발자에게 주는 시사점

당장 써먹을 구석이 있어요. 자체 호스팅 모델을 운영한다면 내부 상태 벡터에 로지스틱 회귀 하나만 얹어도 '이 대화가 탈옥 시도인지', '서비스 주제에서 벗어났는지'를 가려내는 가벼운 감지기를 만들어볼 수 있어요. 이런 걸 프로브(probe)라고 하는데, 별도 분류 모델을 한 번 더 호출하는 것보다 싸고 빨라요.

한국어로 해보면 더 재밌는 질문도 많아요. 같은 내용의 한국어 대화와 영어 대화는 지도에서 같은 동네에 놓일까요? 존댓말과 반말은 갈릴까요? 0.5B에서 7B 정도 모델이면 개인 GPU나 Colab으로 충분히 해볼 수 있고, TransformerLens나 nnsight 같은 도구가 번거로운 부분을 많이 덜어줘요. 모델을 '쓰는' 사람에서 '들여다볼 줄 아는' 사람으로 넘어가는 첫걸음으로 꽤 좋은 주말 프로젝트예요.

마무리

한 줄 정리: LLM은 블랙박스라고들 하지만, 가중치가 공개된 모델이라면 대화가 내부에서 어디에 놓이는지 지도를 그려볼 수 있어요.

여러분이 운영하는 서비스의 대화 로그를 이런 지도로 펼쳐본다면 가장 먼저 확인하고 싶은 건 뭔가요? 그리고 이런 내부 상태 분석, 실제 서비스 모니터링에 쓸 만큼 믿을 수 있다고 보시나요?


🔗 출처: Hacker News

SOURCE · HACKER NEWS
원문 전체 보기 → https://operator0x.com/field-notes/qwen-conversation-state-s...
SHARE
NEXT · CHOOSE

변화를 읽었다면,
내가 만들 수익 구조를 고릅니다.

정보를 더 모으는 데서 멈추지 않고, 광고·외주·판매·중개·구독 중 내 상황에 맞는 출발점을 정해보세요.

21가지 수익 구조 살펴보기 →
처리 중...