크롤링, 해도 되는 걸까요?
개발을 하다 보면 한 번쯤은 크롤러를 짜게 돼요. 가격 비교, 채용 공고 모으기, 연구용 데이터 수집에 요즘은 AI 학습 데이터까지요. Python으로 requests와 BeautifulSoup 몇 줄이면 금방 만들 수 있어요. 그런데 ‘이거 법적으로 괜찮나?’라는 질문에는 속 시원한 답을 듣기가 어렵죠.
이번에 미국 산타클라라 대학교 로스쿨의 에릭 골드먼(Eric Goldman) 교수가 Reddit에서 웹 스크래핑 법을 주제로 AMA를 열었어요. AMA는 Ask Me Anything, 그러니까 무엇이든 물어보면 답하는 공개 Q&A예요. 골드먼 교수는 인터넷 법 분야 블로그를 오래 운영하면서 관련 판례를 꼼꼼히 추적해온 사람이고, 이번 문답도 자기 블로그에 정리해뒀어요. 구체적인 문답은 원문에서 직접 보시는 걸 추천하고, 여기서는 그 배경이 되는 큰 그림을 한국 개발자 입장에서 정리해볼게요.
미국에서 스크래핑이 문제가 되는 네 가지 길
미국에서 스크래핑 분쟁이 생기면 보통 네 가지 법리가 등장해요.
첫째는 CFAA(컴퓨터 사기 및 남용 방지법)예요. ‘권한 없이’ 남의 컴퓨터에 접근하면 처벌하는 법인데, 그 ‘권한’이 어디까지인지가 늘 모호했어요. 2021년 미국 연방대법원은 Van Buren 판결에서 ‘문이 열려 있느냐 닫혀 있느냐’를 기준으로 제시했어요. 어떤 목적으로 들어갔는지가 아니라, 애초에 들어갈 수 있는 영역이었는지를 본다는 거예요. 이어서 hiQ와 LinkedIn 사건에서는 로그인 없이 누구나 볼 수 있는 공개 데이터를 긁는 건 CFAA 위반으로 보기 어렵다는 판단이 나왔어요.
둘째는 계약, 그러니까 이용약관이에요. 재미있는 건 hiQ가 CFAA 쟁점에서는 유리한 판단을 받고도 결국 약관 위반에서 발목을 잡혔다는 점이에요. 반대로 2024년 Meta와 Bright Data 사건에서는 로그인하지 않고 공개 데이터를 수집한 경우에는 Meta 약관이 적용되지 않는다는 판단이 나왔고요. 로그인을 했는지, 약관에 동의했는지가 큰 갈림길인 셈이에요.
셋째는 동산 침해(trespass to chattels)라는 오래된 법리예요. 남의 물건을 망가뜨리거나 제대로 못 쓰게 만든 걸 문제 삼는 법리인데요, 크롤러가 서버에 과한 부하를 줘서 서비스를 방해했다면 여기에 걸릴 수 있어요.
넷째는 저작권이에요. 데이터에 접근하는 것 자체는 문제가 없더라도, 긁어온 글이나 이미지를 그대로 복제해서 쓰면 다른 문제가 돼요. 언론사와 작가들이 AI 회사들을 상대로 낸 학습 데이터 소송들이 바로 이 축에서 벌어지고 있어요.
한국은 어떨까요?
국내에서도 마음 놓고 긁어 쓸 수 있는 건 아니에요. 크게 세 가지 법을 기억해두면 좋아요. 첫째는 저작권법의 데이터베이스 제작자 권리예요. 큰 투자를 들여 만든 데이터베이스에서 ‘상당한 부분’을 허락 없이 복제하면 침해가 될 수 있어요. 채용정보 크롤링을 놓고 벌어진 잡코리아와 사람인 분쟁에서도 이 권리가 쟁점이었죠. 둘째는 무단 침입을 금지하는 정보통신망법, 셋째는 2022년부터 시행된 부정경쟁방지법의 데이터 부정사용행위 조항이에요.
대표적인 사례가 숙박앱 야놀자와 여기어때 사건이에요. 여기어때 측이 야놀자 서버의 API로 숙박 정보를 대량으로 수집한 일이 형사 재판까지 갔는데, 2022년 대법원에서 무죄가 확정됐어요. 그런데 민사에서는 손해배상 책임을 인정한 판결도 나왔어요. 형사 처벌을 피했다고 끝나는 게 아니라는 걸 보여주는 사례예요.
여기에 개인정보까지 얽히면 훨씬 복잡해져요. 공개된 개인정보라도 아무 목적으로나 써도 되는 건 아니거든요. 개인정보보호위원회가 AI 개발 등에 공개된 개인정보를 쓸 때의 기준을 따로 안내서로 낸 것도 그래서예요.
실무에서 지키면 좋은 체크리스트
법률 자문을 대신할 수는 없지만, 개발자로서 기본으로 챙길 만한 원칙은 이래요.
- robots.txt를 존중하세요. 2022년 RFC 9309로 표준이 됐어요. 그 자체로 법적 효력이 있는 건 아니지만, 분쟁이 생기면 ‘의도’를 판단하는 근거가 될 수 있어요.
- 요청 속도를 제한하세요. 서버에 부담을 주는 순간 업무방해나 동산 침해 문제로 번질 수 있어요.
- 로그인, CAPTCHA, IP 차단을 우회하지 마세요. 닫힌 문을 억지로 여는 행위는 거의 모든 법리에서 불리하게 작용해요.
- 공식 API가 있다면 먼저 검토하세요. 비용이 좀 들더라도 법적 리스크를 크게 줄여줘요.
- 경쟁 서비스의 데이터를 가져다 쓰는 건 특히 조심하세요. 국내 판례에서 문제가 된 건 대부분 경쟁사 데이터를 그대로 활용한 경우였어요.
마무리
‘기술적으로 가능하다’와 ‘법적으로 괜찮다’는 완전히 다른 질문이에요. 크롤러를 돌리기 전에 robots.txt와 약관부터 열어보는 습관이 나중에 생길 큰 분쟁을 막아줘요.
여러분도 크롤링 프로젝트를 하면서 법적 리스크 때문에 고민한 적이 있나요? AI 학습용 데이터 수집은 지금 기준과 따로 봐야 한다고 생각하세요?
🔗 출처: Hacker News