약국이 도입한 AI '버트', 효율 대신 지연과 오배송을 부르다

미국 버몬트와 뉴욕에서 약국 체인을 운영하는 키니 드럭스(Kinney Drugs)가 올여름 처방 재조제(refill) 업무에 AI 음성 비서를 도입했다. 회사는 반복 업무를 줄여 약사의 시간을 확보하고 고객 응대를 개선하기 위한 조치라고 설명했지만, VTDigger가 취재한 버몬트와 뉴욕의 고객 약 열두 명은 정반대의 경험을 증언했다. 처방 지연, 계정 조회 실패, 잘못된 용량 주문, 수령 준비 알림 누락 같은 문제가 AI 도입 시점과 겹쳐 나타났다는 것이다. 한 고객은 AI가 어떤 약인지도 알아듣기 어렵게 웅얼거려 정상 요청인 줄 알고 승인했다가, 일주일에 두 번 먹는 약을 네 병이나 쌓아두게 됐다고 말했다.

창업자의 이름을 딴 이 AI 비서 '버트(Burt)'는 텍사스에 본사를 둔 제약 특화 AI 기업 시너리오(Synerio)가 구축했다. 주목할 점은 키니 드럭스가 자사 약관에서 "버트는 정확하거나 완전하거나 최신이 아닐 수 있으며, 오해의 소지가 있거나 오류와 누락을 포함할 수 있다"고 스스로 명시했다는 사실이다. 그럼에도 전화번호를 제공한 고객은 자동으로 이 도구와의 상호작용에 동의한 것으로 간주된다. 일부 고객은 새 시스템에 가입한 기억이 있다고 했지만, 상당수는 재조제 전화를 걸어 AI 목소리를 듣고 나서야 도입 사실을 알았다.

키패드를 없앤 '음성 강제' 설계의 함정

이전 시스템은 버튼 입력(터치톤) 방식으로 키패드를 눌러 약사에게 연결되는 구조였고, 고객들은 별문제 없이 잘 작동했다고 회상했다. 반면 새 시스템에는 키패드 입력 선택지가 없다. 마취과 의사 출신의 한 고객은 "버트에게 말을 하거나, 아니면 약을 받지 못하거나" 둘 중 하나라고 표현했다. 실무 관점에서 이는 시사점이 크다. 음성 인식만을 강제하는 인터페이스는 발음·소음·억양에 취약하고, 대체 입력 경로를 없앤 순간 인식 오류가 곧바로 서비스 실패로 이어진다. 기존의 안정적인 폴백(fallback)을 제거한 채 신기술로 전면 교체하는 방식이 문제의 핵심에 있다.

효율화라는 명분도 실제 현장에서는 어긋난다. 회사 측 한 임원은 AI가 전화 응대를 잘 처리해 약국으로 오는 전화를 줄이고 있다고 자평했지만, 고객들은 오히려 AI에서 막힌 문제를 해결하려 약사를 더 찾게 됐다고 말한다. 버몬트는 만성적 인력 부족으로 약사들이 이미 과중한 부담을 지고 있어, AI가 결국 병목을 상류에서 하류로 옮겨놓은 셈이다. 자동화가 처리 건수를 줄이는 것처럼 보여도, 실패한 상호작용이 사람에게 되돌아오는 비용까지 계산하지 않으면 효율 지표는 착시가 된다.

제3자에게 흘러가는 건강정보와 얇은 규제

프라이버시 문제도 나란히 불거졌다. AI 비서와 같은 달 공개된 개인정보 방침에는 고객의 보호대상 건강정보(PHI)가 약국 운영 개선을 위해 AI 도구에 사용될 수 있다는 내용이 담겼다. 한 고객은 매장에서 이 방침을 직접 읽고 충격을 받아 곧바로 처방을 대학병원으로 옮겼다고 했다. 밴더빌트대와 UVM의 전문가들은 시너리오라는 제3의 업체가 건강 데이터에 새로 접근하게 되면서, 고객은 이제 각 조직의 보안 문제를 모두 걱정해야 하는 구조가 됐다고 지적했다. HIPAA상 업무제휴계약(BAA)이 있으면 벤더는 데이터를 안전하게 다룰 계약상 의무를 지지만, 키니 드럭스는 벤더 계약 비공개를 이유로 해당 문서 공개를 거부했다.

법률 전문가들이 공통으로 짚는 것은 기술이 규제를 앞질렀다는 점이다. 버몬트가 지난 6월 서명한 데이터 프라이버시 법안 S.71은 2년 뒤에야 발효돼 그사이 공백이 생기고, 시행되더라도 이번 사례를 포괄할지 불확실하다는 평가가 나온다. ACLU 변호사는 법이 뒤늦게 마련되는 탓에 기업이 어떻게 준수하고 주정부가 어떻게 집행할지 아직 그림이 없다고 했다. 키니 드럭스의 약국관리 시스템 공급사인 맥케슨(McKesson)조차 공시에서 "제3자 AI 도구 의존이 통제 밖의 위험, 즉 컴플라이언스 공백에 노출시킬 수 있다"고 인정했다.

특히 UVM 컴퓨터과학 교수는 이런 규제가 '소비자 동의'에 기반한다는 점 자체가 근본적 결함이라고 본다. 키니 드럭스의 약관은 11개 문서에 흩어져 있어, 사람들이 무엇에 동의하는지 사실상 이해하지 못한다는 것이다. HIPAA를 가르치는 한 교수는 부정확한 건강정보 정정 절차가 너무 번거로워 자신이라면 그냥 약국을 바꾸겠다고 말했다. 그러나 대중교통이 부족한 버몬트 시골 지역 고객에게는 옮길 곳조차 마땅치 않다. 신뢰하지 않는 시스템을 어쩔 수 없이 계속 써야 하는 이들이 남는다는 점에서, 이번 사례는 헬스케어 AI 도입이 접근성 취약 계층에 어떤 부담을 지우는지를 그대로 보여준다.