잘나가던 자동화가 왜 부메랑이 됐을까
요즘 어디를 가도 "AI가 사람 일을 대체한다"는 말이 들리죠. 실제로 많은 기업이 고객 상담이나 단순 반복 업무를 사람 대신 AI에 맡기기 시작했어요. 인건비도 줄이고 밤낮없이 응대할 수 있으니 솔깃할 수밖에요. 그런데 막상 사람을 내보내고 그 빈자리를 AI로 채워보니, 생각만큼 매끄럽게 굴러가지 않는 사례가 계속 나오고 있어요. 포드처럼 큰 회사에서도 자동화로 인력을 대체하려던 시도가 기대와 달리 삐걱댔다는 이야기가 흘러나오는데요. 단순히 "AI는 아직 멀었다"고 넘길 게 아니라, 왜 이런 일이 반복되는지 그 구조를 한번 들여다볼 필요가 있어요.
AI가 꼭 막히는 지점은 비슷합니다
AI 챗봇이나 자동화 시스템이 무너지는 곳은 신기할 정도로 패턴이 똑같아요. 첫 번째는 환각(hallucination)이에요. 이게 뭐냐면, AI가 모르는 걸 모른다고 안 하고 그럴듯한 거짓말을 자신 있게 내놓는 현상이거든요. 고객한테 "환불 됩니다"라고 없는 규정을 만들어 답해버리면, 그 뒷수습은 고스란히 회사 몫이 돼요. 두 번째는 예외 상황(edge case)이에요. 정상적인 질문 80%는 척척 처리해도, 나머지 20%의 복잡하고 화난 고객을 만나면 무한 루프에 빠지거나 엉뚱한 답을 반복하죠. 사람 상담원이라면 "아, 이건 좀 다른 케이스네" 하고 융통성을 발휘할 텐데, AI는 매뉴얼 밖으로 못 나가는 경우가 많아요. 세 번째는 맥락(context) 부족이에요. 고객이 3주 전에 뭘 주문했고 지난번에 뭘 항의했는지, 그 흐름을 이해하지 못한 채 매번 처음 만난 사람처럼 응대하면 고객은 금방 지쳐버려요.
가장 유명한 반면교사, 클라르나
이 주제에서 빼놓을 수 없는 사례가 스웨덴 핀테크 기업 클라르나(Klarna)예요. 이 회사는 OpenAI 기술을 붙인 AI 어시스턴트를 도입하면서 "상담원 700명이 할 일을 AI가 처리한다"고 자신만만하게 발표했었어요. 그런데 시간이 지나자 CEO가 직접 "비용 절감에만 너무 매달리다 보니 서비스 품질이 떨어졌다"고 인정하고, 다시 사람 상담 인력을 채용하는 방향으로 선회했어요. 핵심 교훈은 명확해요. AI는 사람을 통째로 대체하는 도구가 아니라, 사람의 생산성을 끌어올리는 도구로 쓸 때 빛난다는 거예요. 비용 절감만 보고 사람을 먼저 잘라버리면, 떨어진 품질이 고객 이탈과 브랜드 신뢰 하락이라는 더 큰 비용으로 돌아오거든요.
그래서 우리는 뭘 배워야 할까
한국에서도 콜센터, CS, 백오피스 업무에 AI를 넣으려는 시도가 빠르게 늘고 있어요. 이 흐름 자체는 막을 수 없고 막을 이유도 없어요. 다만 순서가 중요해요. "사람을 빼고 AI를 넣는다"가 아니라 "AI로 사람의 일을 덜어주고, 사람은 더 어려운 일에 집중하게 한다"는 설계가 훨씬 안정적이에요. 실무적으로는 AI에게 명확한 한계선을 긋고(이 범위를 넘으면 무조건 사람에게 넘긴다는 에스컬레이션 규칙), AI 응답의 정확도를 꾸준히 모니터링하는 체계를 같이 만들어야 해요. 개발자 입장에서는 챗봇을 붙이는 것 자체보다, "AI가 틀렸을 때 어떻게 사람에게 안전하게 넘기느냐"를 설계하는 게 진짜 실력이 되는 시대인 거죠.
정리하며
AI를 사람의 대체재로 보면 실패하고, 증폭기로 보면 성공해요. 포드와 클라르나의 사례는 "기술이 부족해서"가 아니라 "도입 전략이 틀려서" 생긴 일에 가까워요. 여러분 회사나 프로젝트에서는 AI를 사람을 빼는 용도로 쓰고 계신가요, 아니면 사람을 돕는 용도로 쓰고 계신가요? 어디까지를 AI에 맡기고 어디부터 사람이 맡아야 한다고 생각하시는지 의견이 궁금해요.
🔗 출처: Hacker News