우리는 매 순간 감정 데이터를 흘리고 있다: 표정·목소리·타이핑까지 수집하는 시대

감정도 데이터가 된다는 이야기

요즘 "데이터가 곧 자산"이라는 말 많이 들으시죠. 위치, 검색 기록, 구매 이력 같은 거요. 그런데 이 글의 저자 Tony Rice는 한 발 더 나아간 이야기를 합니다. 우리가 감정까지 끊임없이 외부로 방송(broadcast)하고 있다는 거예요. 그리고 이 감정 데이터는 이미 다양한 기술로 수집·분석되고 있다는 거죠.

생각해보면 우리는 하루 종일 표정을 짓고, 목소리 톤을 바꾸고, 키보드를 두드리는 리듬도 달라져요. 화나면 타자가 거칠어지고, 졸리면 손가락이 느려지고, 긴장하면 심박수가 올라가서 스마트워치가 그걸 기록해요. 카메라가 켜진 줄도 모르는 화상회의에서 우리 미간 주름까지 분석될 수 있는 시대거든요.

어떤 기술들이 이걸 가능하게 만들고 있나

핵심은 감정 인식(Affective Computing)이라는 분야예요. 1995년 MIT 미디어랩의 Rosalind Picard 교수가 처음 제안한 개념인데, 컴퓨터가 인간의 감정을 인식하고 해석하고 반응하게 만들자는 거였어요. 30년이 지난 지금은 이게 상용 제품에 폭넓게 녹아들어 있어요.

대표적인 게 얼굴 표정 분석이에요. 폴 에크먼이 정리한 FACS(Facial Action Coding System)라는 체계가 있는데, 얼굴 근육의 미세한 움직임 하나하나를 코드화해서 "이런 조합이면 분노", "저런 조합이면 혐오" 식으로 분류해요. Affectiva(현재 Smart Eye 소속) 같은 회사는 이걸 자동차 운전자 모니터링에 쓰고 있고, BMW나 현대차의 일부 모델에는 이미 졸음이나 산만함을 감지하는 카메라가 들어가 있어요.

음성 감정 분석도 큰 축이에요. 콜센터에서 고객이 화났는지를 실시간으로 감지해서 상담사에게 알려주는 시스템이 이미 상용화돼 있거든요. Cogito 같은 회사가 그 분야 강자고요. 음성의 피치, 떨림, 말의 속도, 휴지 구간을 머신러닝 모델이 분석해서 감정 상태를 추정해요.

그리고 의외로 무서운 게 타이핑 패턴 분석이에요. 키를 누르고 떼는 시간 간격(keystroke dynamics)만 봐도 그 사람이 평소 상태인지, 스트레스 상태인지, 심지어 우울증이 있는지까지 어느 정도 추정할 수 있다는 연구가 있어요. IBM과 여러 대학에서 관련 논문이 나와 있고요.

이게 왜 지금 문제가 되는가

예전엔 감정 데이터를 모으려면 실험실에서 센서를 붙여야 했어요. 그런데 지금은 스마트폰 카메라, 노트북 마이크, 스마트워치, 심지어 자동차 시트의 압력 센서까지 다 감정의 단서가 되거든요. 데이터를 수집하기 위한 별도의 비용이 거의 0에 수렴한 거예요.

EU에서는 이걸 심각하게 봐서 2024년부터 시행되는 AI Act에 "직장이나 학교에서 감정 인식 AI 사용 금지" 조항을 넣었어요. 채용 면접에서 지원자의 표정을 분석해 점수를 매기거나, 학교에서 학생들의 집중도를 카메라로 측정하는 게 위법이 된 거죠. 미국에서도 일리노이주는 BIPA(Biometric Information Privacy Act)로 생체정보 수집에 엄격한 동의를 요구하고요.

반대로 중국은 일부 학교와 사무실에서 학생·직원의 집중도를 카메라로 모니터링하는 시스템을 실험적으로 운영했었어요. 같은 기술인데 사회마다 받아들이는 온도차가 정말 다르죠.

개발자로서 무엇을 생각해야 할까

저자가 던지는 화두는 결국 "의도하지 않은 데이터 누출"이에요. 우리가 앱을 만들 때 위치나 연락처는 권한을 명시적으로 요청하잖아요. 그런데 카메라와 마이크에 한 번 권한을 주면, 거기서 추출되는 감정 데이터까지 같이 흘러나가는 거예요. 사용자는 "화상통화에 쓰겠지" 정도로 동의했는데, 실제로는 그 영상에서 표정 분석이 이뤄질 수도 있는 거죠.

한국에서도 이건 남의 일이 아니에요. AI 면접 도입한 기업들이 꽤 있고요, 일부는 표정과 목소리 톤을 평가 지표로 쓴다고 알려져 있어요. 개인정보보호법은 있지만 "감정"이라는 데이터가 명확히 생체정보로 분류되는지에 대한 해석이 아직 모호한 상태고요. 헬스케어 앱, 명상 앱, 화상회의 솔루션을 만드는 분들은 "우리가 감정 데이터를 부수적으로 만들어내고 있지는 않나" 한 번쯤 점검해볼 가치가 있어요.

그리고 반대로 이걸 선한 방향으로 활용할 수도 있어요. 자폐 스펙트럼 아이들이 타인의 표정을 읽는 걸 돕는 보조 도구, 우울증 조기 발견을 돕는 헬스케어 앱, 운전자의 졸음을 막아 사고를 줄이는 시스템 등이 다 이 기술의 산물이거든요. 결국 어떻게 쓰느냐의 문제인 거죠.