버그가 안 보이는 사람들: 품질 실명이 제품을 망치는 방식

프로그래머 대니 루(Dan Luu)는 자신이 다른 사람보다 훨씬 많은 버그를 본다는 사실을 오랫동안 의아해했다. 그는 매주 수백에서 수천 건의 버그를 관찰하지만, 대화를 나눠 본 대부분의 사람은 그런 경험을 하지 않는다. 처음에는 자신이 컴퓨터를 유별나게 쓰기 때문이라고 생각했지만, 시간이 지나면서 그는 결론을 바꿨다. 사람들은 실은 같은 버그를 겪고 있으면서도 그저 알아차리지 못하는 것이었다. 흥미로운 점은 이 '버그 실명'이 훈련으로 바뀐다는 것이다. 그가 친구나 지인에게 버그를 몇 주 동안 짚어 주면, 관심 있는 사람들은 스스로 버그를 인지하기 시작했다.

이런 감각 덕분에 그는 여러 직장에서 임원들로부터 특정 제품이나 기능이 실제로 잘 작동하는지 평가해 달라는 요청을 받아 왔다. 문제를 하나도 못 찾을 때도 있지만, 대개는 '가벼움'에서 '중간' 사이의 문제를 발견한다. 그리고 가끔은 심각한 수준, 즉 '사실상 작동하지 않는다'고 말할 정도의 문제를 만난다. 그가 정의하는 '심각함'의 기준은 단순히 경험이 나쁜 정도가 아니라, 일반 사용자가 아예 그것을 쓸 수 없는 상태다.

잘 된다는 내부 평가와 망가진 실물의 간극

그가 가장 미스터리하게 여기는 것은 마지막 범주다. 어떤 제품이 어쩌다 그런 상태가 됐는지 내부 논의를 찾아보면, '훌륭하다, 잘 작동한다'는 코멘트가 줄줄이 이어진다. 그런데 막상 열어서 써 보면 직관에 어긋나는 우회 조작을 여러 번 거쳐야만 겨우 동작한다. 일반 사용자라면 쓰지 못할 뿐 아니라, 화가 날 만큼 나쁜 경험을 하고 주변에 험담을 늘어놓을 만한 상태인 것이다. 그는 자신이 남들과 다른 코너 케이스를 건드려 버그를 보는 것은 아닌지 오래 의심해 왔지만, 출시 후 사용자들이 자신이 봤던 바로 그 문제에 부딪혀 제품이 고꾸라지는 사례를 반복해서 목격하면서 그 의심을 접었다. 요즘은 LLM에게 일반 사용자처럼 행동하게 해 여러 시나리오에서 문제가 재현됨을 확인할 수도 있다.

팬심이 만드는 사각지대

루는 구체적인 업무 사례 대신 덜 민감한 예를 든다. 그는 예전에 구글, 빙, Kagi의 검색 품질을 점검한 적이 있는데, 주요 검색엔진 모두 저품질 SEO 스팸과 사기 사이트로 가득한 결과를 내놓았다. 구글과 빙에 대한 그의 평가에는 반발이 거의 없었지만, Kagi에 대해서는 '틀렸다'는 항의가 쏟아졌다. 사람들은 자신의 실제 검색 결과를 보내오며 결과가 좋다고 주장했지만, 그가 보기에 그 결과들 역시 쓸 만한 링크가 없고 스팸으로 가득했다. 계절 예보를 찾는 질의에서는 최신 예보를 하나도 반환하지 못했는데도 말이다.

이런 맹목은 팬심에서 비롯된다. 볼보의 충돌 안전성을 보고 차를 산 그는 볼보 포럼을 자주 찾는데, 십수 년째 신뢰성 데이터는 볼보를 중간 이하로 평가하지만 포럼은 '가장 신뢰할 만한 차'라며 데이터가 틀렸다고 우기는 사람들로 가득하다. 더 본질적인 사례는 대학 강의 관리 소프트웨어 블랙보드다. 위키백과가 '교육계에서 가장 미움받는 회사 중 하나'로, 2011년 한 조사에서 응답자의 93%가 회사를 '싫어한다'고 답했다고 적을 만큼 악명 높았다. 그런데 젊은 시절 그가 만난 블랙보드 직원은 자사 소프트웨어가 널리 사랑받는다고 진심으로 믿고 있어, 그의 말을 믿지 못하고 오히려 혼란스러워했다. 포럼 소프트웨어 디스코스(Discourse)의 사례는 한발 더 나아간다. 직원들은 성능이 훌륭하다고 여겼지만, 그가 보기에 디스코스에는 LCP 같은 웹 성능 지표를 속이려고 실제 페이지 로딩을 일부러 늦추는 코드가 들어 있었다. 사용자에게 아무 이득이 없고 오히려 해가 되는, 벤치마크 최적화를 넘어선 부정행위였다.

나 자신을 향한 실명 — 그리고 마우스 볼 이야기

루는 인간이 자신이 좋아하는 것, 특히 자기 일이나 회사의 일에서 결함을 무시하는 능력이 뛰어나다고 본다. 자신은 오히려 반대여서 결함부터 눈에 들어온다고 말한다. 블로그 글을 보고 '누가 당신 일을 비판하면 기분이 어떻겠느냐'는 항의를 받으면, 그는 자기 추론의 허점을 짚어 줄 사람을 애써 찾아다니는 편이라 합리적인 비판은 오히려 반갑고, 자기 작업이 대체로 결함투성이라 생각하므로 '좋지 않다'는 말도 타당하다고 답한다. 그러면서도 자신에게 사각지대가 없다고는 하지 않는다. 어릴 적 기계식 마우스 시절, 친구가 그의 컴퓨터를 쓰려다 포인터가 제멋대로 움직여 도저히 쓸 수 없다고 했다. 정작 그는 아무 문제 없이 썼는데, 손동작을 관찰해 보니 마우스 볼에 낀 이물질의 불규칙한 움직임을 상쇄하려고 손을 사방으로 격렬하게 내던지고 있었다. 오랜 시간에 걸쳐 자신도 모르게 적응해 버린 것이다.

이 통찰이 실무자에게 주는 함의는 분명하다. 내부의 자신감 넘치는 평가와 실제 사용자 경험 사이에는 구조적 간극이 존재하며, 그 간극을 만드는 것은 대개 특별한 코너 케이스가 아니라 팀이 이미 무의식적으로 적응해 버린 결함이다. 개발자는 자기 제품에 손을 격렬하게 내던지는 방식으로 이미 익숙해져 있어, 그 우회 습관 자체가 문제의 존재를 가린다. 다만 이 글은 방법론이라기보다 관찰의 기록에 가깝다는 한계도 있다. 저자는 자신이 놓치는 종류의 버그도 분명히 있다고 인정하며, 어떤 조직 절차나 도구가 이 실명을 체계적으로 없애는지에 대해서는 답을 내놓지 않는다. 그럼에도 외부의 신선한 눈, 재현 가능한 검증, 그리고 무엇보다 자기 작업의 결함을 먼저 의심하는 태도가 왜 필요한지를 이 글은 설득력 있게 보여 준다.