47년 전 슬라이드 한 장이 다시 소환된 이유
인터넷에서 한 번쯤 봤을 법한 문장이 있어요. 1979년 IBM 내부 교육 자료에 실렸다고 알려진 문장이에요.
> “컴퓨터는 결코 책임을 질 수 없다. 그러므로 컴퓨터는 절대 경영상의 결정을 내려서는 안 된다.”
> (A computer can never be held accountable, therefore a computer must never make a management decision.)
원본 자료는 확인하기 어렵다고 알려져 있어요. 그래도 생성형 AI가 나온 뒤로는 거의 격언처럼 인용되고 있죠. 이번에 소개할 글 ‘Computers Cannot Make Decisions’도 바로 이 질문을 정면으로 다뤄요. 제목만 보면 “요즘 AI가 얼마나 똑똑한데 무슨 소리야?” 싶을 수 있어요. 그런데 여기서 말하는 건 성능이 아니라 ‘결정’이라는 단어의 의미예요. AI 에이전트가 메일을 보내고, 코드를 머지하고, 결제를 승인하는 시대니까 개발자라면 한 번쯤 진지하게 생각해볼 만한 주제거든요.
‘계산’과 ‘결정’은 뭐가 다를까
컴퓨터가 하는 일을 아주 단순하게 말하면, 입력을 받아서 규칙에 따라 출력을 내는 거예요. 그 규칙이 if문이든, 수십억 개의 가중치를 가진 딥러닝 모델이든 구조는 같아요.
예를 들어 대출 심사 모델이 “거절”을 출력했다고 해볼게요. 이걸 모델이 결정했다고 할 수 있을까요? 엄밀히 보면 모델은 점수를 계산했을 뿐이에요. “0.7 미만이면 거절”이라는 기준을 정한 건 사람이고, 그 모델을 서비스에 붙이기로 승인한 사람도 따로 있죠.
자판기를 떠올리면 쉬워요. 버튼을 눌렀더니 콜라가 나왔다고 “자판기가 콜라를 주기로 결정했다”고 말하진 않잖아요. LLM은 자판기와 비교할 수 없을 만큼 복잡해요. 그래도 “이 결과는 누가 책임지나?”라는 질문 앞에서는 여전히 같은 자리에 있어요.
결정이라는 말에는 여러 선택지 중 하나를 고르는 행위만 들어 있는 게 아니에요. 그 선택의 결과를 짊어지는 주체까지 함께 들어 있어요. 잘못 결정하면 사과하고, 징계받고, 법적 책임을 지는 존재 말이에요. 컴퓨터는 반성할 수도, 처벌받을 수도 없죠. 그래서 컴퓨터가 결정을 “내린 것처럼 보이는” 순간, 책임이 사라져버리는 위험한 빈칸이 생겨요.
책임이 사라지면 실제로 벌어지는 일
이게 그냥 철학 이야기가 아니라는 건 실제 사례들이 보여줘요.
영국 우체국 Horizon 스캔들이 대표적이에요. 후지쯔가 만든 회계 시스템 Horizon의 버그 때문에 장부 잔액이 맞지 않았어요. 그런데 우체국은 시스템이 틀릴 리 없다고 보고 수백 명의 지점 운영자를 횡령 혐의로 기소했어요. 억울하게 유죄 판결을 받은 사람들이 누명을 벗기까지 20년 가까이 걸렸죠.
네덜란드 육아수당 스캔들도 있어요. 부정수급 위험을 가려내는 알고리즘이 수많은 가정을 잘못 지목했고, 이 가정들은 거액의 환수 요구에 시달렸어요. 결국 2021년 네덜란드 내각이 총사퇴했죠.
조금 가벼운 사례로는 에어캐나다 챗봇 사건이 있어요. 챗봇이 환불 규정을 잘못 안내했는데, 회사는 “챗봇은 별개의 주체”라는 취지로 책임을 피하려 했어요. 하지만 2024년 캐나다의 분쟁조정 기관은 이 주장을 받아들이지 않고 회사 책임을 인정했어요. 결국 컴퓨터 뒤에 숨을 수는 없다는 거예요.
AI 에이전트 시대에 더 중요해진 이유
예전 자동화는 사람이 정한 규칙을 그대로 실행하는 수준이었어요. 요즘 AI 에이전트는 상황을 해석하고, 도구를 고르고, 여러 단계를 스스로 이어서 실행해요. 그만큼 “컴퓨터가 결정하고 있다”는 착각도 강해졌죠.
여기서 조심해야 할 게 자동화 편향(automation bias)이에요. 이게 뭐냐면, 기계가 내놓은 답을 필요 이상으로 믿는 사람의 경향이에요. 내비게이션이 시키는 대로 가다가 막다른 길에 들어서는 것처럼요. 화면에 “승인” 버튼이 있어도 사람이 내용을 안 읽고 습관처럼 누른다면, 그건 ‘사람이 개입하는 구조(human-in-the-loop)’가 아니에요. 도장만 찍는 사람이 하나 더 생긴 것뿐이에요.
규제도 같은 방향을 가리키고 있어요
법도 이 문제를 이미 다루고 있어요. 유럽 GDPR 제22조는 오로지 자동화된 처리로만 내려진 결정의 대상이 되지 않을 권리를 정하고 있어요. EU AI Act는 고위험 AI 시스템에 사람의 감독을 요구하고요.
한국도 마찬가지예요. 개정 개인정보 보호법에 ‘자동화된 결정에 대한 정보주체의 권리’가 들어가서 2024년 3월부터 시행되고 있어요. 완전히 자동화된 시스템의 결정이 내 권리에 중대한 영향을 주면, 그 결정을 거부하거나 설명을 요구할 수 있어요. 2026년 1월부터 시행된 AI 기본법도 ‘고영향 AI’에 사람의 관리·감독 같은 의무를 두고 있어요.
한국 개발자에게 주는 시사점
그럼 실무에서는 뭘 해야 할까요? 거창한 게 아니라 설계 습관의 문제예요.
첫째, 결정의 주인을 명시하세요. 임계값, 프롬프트, 정책 같은 ‘판단 기준’을 누가 바꿨는지 기록되도록 만들어야 해요. 설정 변경도 코드 리뷰처럼 다루면 좋아요.
둘째, 나중에 설명할 수 있게 로그를 남기세요. 어떤 입력에 어떤 모델 버전과 규칙이 적용돼서 이 결과가 나왔는지 추적할 수 있어야 사용자의 설명 요구에도 답할 수 있어요.
셋째, 되돌릴 수 없는 행동 앞에는 진짜 사람의 확인을 두세요. 확인이 형식에 그치지 않도록, 무엇이 바뀌는지 diff나 요약을 보여주는 UI도 같이 설계해야 해요.
넷째, 이의 제기 경로를 만드세요. 사용자가 “이 결과 이상해요”라고 말할 창구가 있어야 시스템의 실수가 사람에게 전달돼요.
마무리
계산은 컴퓨터가 하고, 결정과 책임은 사람이 져요. 그리고 그 경계를 코드로 긋는 사람이 바로 우리 개발자예요.
여러분 서비스에서 ‘사실상 컴퓨터가 결정하고 있는’ 지점은 어디인가요? 그 결정에 문제가 생기면 누가 책임질지 명확히 정해져 있나요?
🔗 출처: Hacker News