둘 다 들어는 봤는데, 합치면 어렵죠
마르코프 체인, 엔트로피. 각각은 어디서 한 번쯤 들어봤을 텐데, '마르코프 체인의 엔트로피'라고 붙여놓으면 갑자기 머리가 아파지는 분들 많을 거예요. 그런데 이 개념을 한 번 제대로 이해해두면, 데이터 압축이 왜 한계가 있는지부터 LLM이 왜 그런 방식으로 학습되는지까지 하나의 실로 꿰어져요. 이 주제를 차분하게 풀어낸 글이 올라와서, 그 내용을 바탕으로 같이 따라가 볼게요.
마르코프 체인이 뭐냐면
마르코프 체인은 '다음 상태가 오직 현재 상태에만 달려 있는' 확률 과정이에요. 날씨로 예를 들어볼게요. 오늘 맑으면 내일도 맑을 확률이 80%, 비 올 확률이 20%. 오늘 비가 오면 내일 맑을 확률이 40%, 계속 비 올 확률이 60%. 이런 식으로 '현재 → 다음'의 전이 확률만 정해져 있는 시스템이죠. 중요한 건 어제나 그저께 날씨는 전혀 안 본다는 거예요. 이걸 '기억이 없다(memoryless)'고 표현하는데, 현재 상태가 과거의 모든 정보를 대표한다고 가정하는 셈이에요. 단순해 보이지만 구글의 페이지랭크, 게임 AI, 유전자 분석까지 온갖 곳에서 쓰이는 강력한 모델이에요.
엔트로피가 뭐냐면
엔트로피는 클로드 섀넌이 정의한 '평균적인 놀라움'이에요. 공정한 동전을 던지면 앞뒤를 전혀 예측할 수 없으니 놀라움이 최대고, 이걸 1비트라고 해요. 반대로 양면이 다 앞면인 동전은 결과가 뻔하니 놀라움이 0, 엔트로피도 0비트죠. 수식으로는 H = -Σ p log p 인데, 겁먹을 필요 없어요. '각 사건의 놀라운 정도를, 그 사건이 일어날 확률로 가중평균한 것'이라고 읽으면 돼요. 자주 일어나는 일은 안 놀랍고, 드문 일은 놀랍고, 그걸 전부 평균 낸 값이에요.
그럼 마르코프 체인의 엔트로피는요
여기서 두 개념이 만나요. 마르코프 체인은 상태마다 '다음에 뭐가 올지'의 확률 분포가 있으니까, 상태마다 조건부 엔트로피를 계산할 수 있어요. 맑은 날의 엔트로피 따로, 비 오는 날의 엔트로피 따로요. 그런데 체인 전체의 엔트로피를 말하려면 각 상태에 얼마나 자주 머무는지를 알아야겠죠. 이때 등장하는 게 정상 분포(stationary distribution)예요. 이게 뭐냐면, 체인을 아주 오래 돌렸을 때 각 상태에서 보내는 시간의 비율이에요. 위의 날씨 예시라면 장기적으로 맑은 날 3분의 2, 비 오는 날 3분의 1 같은 식으로 수렴하거든요. 최종적으로 마르코프 체인의 엔트로피율은 '각 상태의 조건부 엔트로피를 정상 분포로 가중평균한 값', 수식으로는 H = -Σᵢ πᵢ Σⱼ Pᵢⱼ log Pᵢⱼ 이 돼요. 말로 풀면 '이 시스템을 오래 지켜볼 때, 한 스텝마다 평균적으로 얼마나 놀라게 되는가'예요.
이게 왜 중요하냐면
첫째, 압축의 이론적 한계가 여기서 나와요. 섀넌의 소스 코딩 정리에 따르면 어떤 데이터든 그 원천의 엔트로피 아래로는 압축할 수 없거든요. 섀넌은 실제로 사람들에게 영어 문장의 다음 글자를 맞히게 하는 실험으로 영어의 엔트로피가 글자당 1비트 근처라고 추정했어요. 둘째, 페이지랭크가 사실 웹페이지를 상태로, 링크 클릭을 전이로 보는 거대한 마르코프 체인의 정상 분포예요. 셋째가 제일 재밌는데요. 언어모델이 하는 일이 정확히 '문맥이 주어졌을 때 다음 토큰의 확률 분포'를 배우는 거잖아요. 학습에 쓰이는 크로스 엔트로피 손실을 최소화한다는 건, 모델의 예측 분포를 실제 언어의 분포에 최대한 가깝게 만든다는 뜻이에요. 모델 평가 지표인 퍼플렉시티도 엔트로피를 지수로 올린 값일 뿐이고요. 마르코프 체인이 '직전 상태 하나'만 보는 모델이라면, LLM은 그 기억을 컨텍스트 윈도우만큼 확장한 초대형 버전이라고 볼 수도 있어요.
한국 개발자에게
이 개념은 ML 기초 면접의 단골이기도 하지만, 실무에서도 로그 이상 탐지(평소와 엔트로피가 다른 패턴 찾기), 추천 시스템, A/B 테스트 해석 등에 그대로 응용돼요. 무엇보다 LLM을 매일 쓰는 시대에 그 밑바닥 원리를 수식 한 줄 수준에서라도 이해하고 있다는 건 꽤 든든한 무기가 되거든요.
정리하면, 마르코프 체인의 엔트로피는 '시스템이 한 걸음마다 주는 평균적인 놀라움'이고, 이 개념이 압축부터 LLM까지 관통해요. 여러분은 정보이론 기초가 실무에 도움이 됐던 경험이 있나요?
🔗 출처: Hacker News