제품을 살 때 검색어 뒤에 'reddit'을 붙이는 습관은 이제 하나의 방법론이 됐다. 2022년 Reason의 마이크 리그스가 '레딧 핵'이라 부르고, 드미트리 브레러튼이 검색 품질을 다룬 글에서 같은 지적을 하면서 널리 알려졌다. 광고성 제휴 페이지 대신 실제 사람의 의견을 얻겠다는 발상이다. 그 밑에는 'r/chefknives의 낯선 사람이 칼에 대해 나를 속일 이유가 없다'는 믿음이 깔려 있다. 문제는 이 믿음에 명백한 약점이 있다는 것이다. 사람들이 대가 없는 의견을 구하러 모이는 곳이라면, 브랜드 입장에서는 대가를 받은 의견을 심고 싶은 곳이기도 하다.
칼 수집가용 사이트 New Knife Day를 운영하는 한 개발자가 이 의심을 감(感)이 아니라 세어볼 수 있는 형태로 검증했다. 그는 r/knives, r/knifeclub, r/chefknives, r/japaneseknives, r/FixedBladeEdc, r/KnifeSteels 여섯 개 서브레딧에서 수집한 5만 1,129건의 댓글을 대상으로 삼았다. 앞서 GLiNER라는 소형 개체명 인식 모델을 파인튜닝해 댓글에서 브랜드·모델·강종을 뽑아내도록 만들어 두었기에, 각 댓글에 대해 '누가 썼는지, 어떤 브랜드를 언급했는지, 그 글이 구매 상담 스레드에 속하는지'를 이미 알고 있었다.
무엇을 측정했나
분석의 골격은 세 가지 정의다. '구매 스레드'는 제목이나 본문이 'should I buy', 'recommend', 'under $', 'best knife' 같은 표현과 맞는 글로, 분류기가 아니라 정규식으로 잡았다. '브랜드 편중도'는 한 작성자의 댓글 중 브랜드를 언급한 비율이되, 같은 브랜드를 반복해 부를수록 가중치를 준다. '꼬리(tail)'는 댓글이 10건 이상인 작성자 987명 중 이 점수 상위 5%, 곧 49개 계정이다. 같은 브랜드를 계속 끌어오는 계정이야말로 대행업체가 파는 상품과 닮았기 때문에 이렇게 점수를 매겼다.
핵심 질문은 이렇다. 이 49개 계정이 단지 글을 많이 써서 구매 스레드에 자주 보이는 것뿐이라면, 우연만으로 그들이 차지할 브랜드 언급 비중은 얼마인가. 이를 구하려고 저자는 모든 브랜드 언급을 자리에 그대로 둔 채 작성자 이름표만 무작위로 뒤섞는 작업을 1,000번 반복했다. 글을 많이 쓴 계정은 여전히 많은 언급을 갖지만, 어느 스레드에 등장하는지는 더 이상 그 계정이 누구인지에 좌우되지 않는다. 무작위 재배치가 내놓은 기댓값은 약 7.9%, 대부분 6.3%에서 10.1% 사이였다. 그런데 실제 값은 11.3%였고, 1,000번의 재배치 중 이 수치에 도달한 것은 단 2번이었다. 쉽게 말해 구매 추천 아홉 건 중 한 건이 이 49개 계정에서 나왔는데, 우연이라면 열세 건에 한 건이어야 한다. 1,471건 중 약 50건이 초과분인 셈이다.
초과분이 어디에 몰렸는가
크기보다 중요한 것은 그 초과분이 어디에 떨어졌느냐다. 칼 레딧 전체가 조작된다면 모든 서브레딧이 우연 위에 있어야 하지만, 그런 곳은 r/chefknives와 r/knifeclub 둘뿐이었다. 가장 큰 r/knives는 우연과 0.5%포인트 이내였다. 브랜드별로 봐도 세 브랜드는 꼬리 계정에서 나온 구매 조언 비중이 우연보다 훨씬 컸고, 한 대형 브랜드는 오히려 조금 낮았으며, 세 브랜드는 아예 없었다. 특히 한 셰프 나이프 브랜드는 '무엇을 살까' 언급의 31%가 5% 계정에서 나왔는데, 이는 우연 예측치 8%의 네 배다. 다만 이는 소수의 표적 캠페인이 남길 모양이자, 동시에 몇몇 열성 팬층이 남길 모양이기도 하다. 그래서 브랜드는 모두 코드로 가렸고, 신호가 가장 강한 브랜드는 크고 목소리 큰 팬덤을 가진 곳이기도 하다.
계정 이력이 말한 것
대가성 게시가 무엇을 남길지는 판매 페이지들이 스스로 설명한다. REDCmts는 댓글 한 건에 9.99달러, 100건에 699.99달러를 '실제로 나이 든 계정'으로 판다고 광고하고, Soar는 첫 브랜드 언급 전 몇 주간 '숙성·수동 워밍'한다고 하며, Bazzly는 구매자로 보이는 글마다 자동 답글을 단다고 내세운다. 이를 상품 설명으로 받아들이면, 준비된 유료 계정은 어리고, 지정된 서브레딧에 주로 글을 쓰며, 한 브랜드만 밀어야 한다. 저자는 신호가 있는 세 브랜드 뒤의 꼬리 계정 23개와 대조군 23개의 전체 레딧 이력을 최대 약 2,000개 댓글까지 긁어 비교했다.
결과는 예상을 비껴갔다. 꼬리 계정의 중앙값 나이는 4.5년으로 대조군과 같았다. 이들 댓글 중 여섯 개 칼 서브레딧에 속한 비율은 3%로, 대조군의 10%보다 오히려 낮았고, 활동은 66개 서브레딧에 퍼져 있어 대조군의 47개보다 넓었다. 전체 이력에서 이들이 언급한 칼 브랜드는 하나가 아니라 일곱 개였고, 판매 링크는 양쪽 모두 드물었다. 읽을 수 있었던 15개와 16개 계정으로 약 스무 가지 특성을 비교했지만, 31명을 무작위로 두 조로 나눌 때 흔히 나올 정도보다 큰 차이는 없었다. 이는 워밍된 단일 목적 계정의 모습이 아니라, 레딧에 오래 머물며 특정 제작자에게 강한 애착을 가진 사람의 모습에 가깝다. 물론 잘 운영되는 유료 계정도 바로 그렇게 보이기에 대행업체가 신선한 계정 대신 나이 든 계정을 파는 것이며, 숨겨지거나 정지·삭제된 여덟 개의 꼬리 이력은 끝내 열어볼 수 없었다.
실무자를 위한 결론
정리하면, 공개된 레딧 데이터로는 추천이 특정 계정에 '집중돼 있다'는 사실은 보이지만 '누가 돈을 냈는가'는 보이지 않는다. 저자는 이력을 읽은 뒤 팬 쪽으로 기울되 그 판단을 느슨하게 쥐고 있다고 밝힌다. 검색어에 'reddit'을 붙이면 여전히 대체로 사람의 의견을 얻지만, 일부 브랜드에 한해서는 구매 조언의 4분의 1에서 3분의 1이 그 브랜드만 주로 추천하는 계정에서 나온다는 점은 기억할 만하다. 데이터가 지지하는 현실적 점검법은 단순하다. 모르는 계정에서 칼 추천이 올라오면 프로필을 눌러 그 계정이 다른 브랜드를 한 번이라도 언급한 적 있는지 확인하는 것이다. 이 한 가지 질문이 이 데이터셋에서는 카르마보다 꼬리 계정을 더 잘 가려냈다. 다만 진짜 나이 든 계정에서 나온 유료 댓글까지 걸러주지는 못하며, 독자가 할 수 있는 어떤 방법으로도 그것만은 잡히지 않는다는 한계도 함께 남는다.