크롤 예산 최적화: Google이 당신의 사이트를 더 빠르게 크롤하도록 하기
핵심 요점
- 크롤 예산 구글이 일정 기간 내 사이트에서 크롤링하는 페이지 수를 뜻하며, 대규모 사이트에서는 한정된 자원입니다.
- 페이지 수가 10,000개 미만인 사이트는크롤 예산을 걱정할 필요가 거의 없습니다. 규모가 큰 사이트(전자상거래, 미디어, SaaS)에서는 매우 중요합니다.
- 크롤 예산을 가장 많이 낭비하는 요인은 다층 네비게이션, 파라미터 URL, 중복 콘텐츠, 리다이렉트 체인, 소프트 404 오류입니다..
- 크롤 예산을 최적화하려면 구글봇을 고가치 페이지로 유도하고 저가치, 중복, 기술적 페이지에 대한 접근을 차단해야 합니다.
- 서버 응답 속도는 크롤 속도에 직접적인 영향을 미칩니다. 더 빠른 서버일수록 더 많이 크롤링됩니다..
목차
Googlebot이 사이트를 방문할 때마다 사용할 수 있는 자원은 한정되어 있습니다. 모든 URL을 무한정 크롤링할 수는 없으므로 우선순위를 정해야 합니다. 소규모 사이트라면 대부분 문제가 되지 않지만, 수천 개 또는 수백만 개의 페이지를 보유한 대규모 사이트에서는 크롤 예산을 어떻게 관리하느냐에 따라 중요 페이지가 몇 시간 내에 색인되는지 아니면 몇 주 동안 무시당하는지가 결정됩니다.
크롤 예산이란 무엇인가요?
크롤 예산은 두 가지 요소로 구성됩니다.
- 크롤 속도 제한: 서버에 부담을 주지 않으면서 Google이 사용하는 최대 크롤 속도입니다. 서버의 응답 시간과 용량에 따라 자동으로 조정됩니다.
- 크롤 수요: URL의 인기도, 콘텐츠의 최신성, 사이트맵 업데이트나 주요 콘텐츠 변경 같은 사이트 전체 이벤트를 바탕으로 Google이 사이트를 크롤링하고자 하는 정도입니다.
실제 크롤 예산은 이 두 요소의 교집합입니다. 서버 속도가 느리면 Google은 문제를 일으키지 않기 위해 크롤 속도를 줄입니다. 콘텐츠가 거의 변하지 않으면 새로 발견할 것이 없으므로 Google은 크롤 수요를 낮춥니다.
내 사이트에서 크롤 예산이 중요할까요?
| 사이트 규모 | 크롤 예산 중요도 | 필요한 조치 |
|---|---|---|
| 1,000개 미만 | 낮음 | 콘텐츠와 링크에 집중하기 |
| 1,000개 to 10,000개 | 낮음 to 중간 | 기본 최적화 수행(사이트맵 정리, 오류 수정) |
| 10,000개 to 100,000개 | 중간 to 높음 | 적극적인 크롤 예산 관리 필요 |
| 100,000개 이상 | 필수 | 색인을 위한 고급 최적화 필수 |
크롤 예산이 중요해지는 경우: 수천 개의 상품 페이지를 보유한 전자상거래 사이트, 방대한 아카이브를 가진 대규모 출판사, 사용자 생성 콘텐츠가 있는 SaaS 플랫폼, 그리고 복잡한 패싯 네비게이션이나 필터링 시스템을 갖춘 모든 사이트입니다.
Google이 크롤링할 항목을 결정하는 방식
Google은 여러 신호를 바탕으로 크롤링 우선순위를 정합니다.
- URL의 인기도: 백링크와 트래픽이 많은 페이지는 더 자주 크롤링됩니다.
- 콘텐츠 업데이트 빈도: 자주 변경되는 페이지는 크롤링 주기가 더 짧아집니다
- 사이트맵 신호: XML 사이트맵의 lastmod 날짜가 최근일수록 우선순위가 높아집니다
- 내부 링크 깊이: 홈페이지에 더 가까운 페이지, 즉 클릭 수가 적을수록 빨리 발견됩니다
- 페이지 중요도 신호: Google은 PageRank와 기타 신호를 통해 가치 있는 페이지를 우선합니다
크롤 예산을 낭비하는 10가지 원인
- 패싯 네비게이션: 색상, 크기, 가격 필터 조합으로 수백만 개의 URL 변형 생성
- URL 파라미터: 추적 파라미터, 세션 ID, 정렬 옵션으로 인한 중복 URL 발생
- 중복 콘텐츠 페이지: 카노니컬 태그 없이 여러 URL이 동일한 콘텐츠 제공
- 리다이렉트 체인: A→B→C→D와 같은 연쇄 리다이렉트는 각 단계마다 크롤 리소스 낭비
- 소프트 404 페이지: 200 상태 코드를 반환하지만 오류 또는 빈 콘텐츠를 표시하는 페이지
- 내부 검색 결과 페이지: 가치 낮은 수천 개의 검색 결과 URL이 크롤링됨
- 무한 달력 페이지: 달력 위젯이 과거와 미래 날짜에 대해 끝없이 URL 생성
- 태그 및 카테고리 아카이브 중복: 내용이 겹치는 수백 개의 가벼운 태그 페이지
- 서버 응답 속도 저하: 높은 TTFB는 Google이 방문당 크롤링하는 페이지 수를 줄입니다
- 해킹 또는 스팸 페이지: 주입된 스팸 페이지는 실제 콘텐츠를 위한 크롤 예산을 소비합니다
크롤 예산 최적화 전략
가치 낮은 URL 차단하기
- robots.txt를 활용해 패싯 네비게이션, 내부 검색, 파라미터 URL 접근 금지
- 순위에 오르지 않으면서 사이트에는 유지하고 싶은 페이지에 noindex 태그 적용
- Google Search Console의 URL 파라미터 도구로 파라미터 처리 방식 지정
서버 성능 개선하기
- TTFB를 200ms 이내로 목표 설정, 반응성 높은 서버라면 Google의 크롤링 속도도 빨라짐
- HTTP/2를 활용해 멀티플렉싱 연결 구현
- 서버 측 캐싱으로 반복 요청에 대한 응답 시간 단축
- CDN 도입으로 미국 기반 IP에서 크롤링하는 Googlebot의 지연시간 감소
내부 링크 최적화하기
- 중요 페이지를 홈페이지에서 최대 3클릭 이내에 닿을 수 있도록 배치
- 끊어진 내부 링크를 수정하거나 제거해서 크롤 예산이 낭비되지 않도록 관리
- 이동경로 표시와 관련 링크로 효율적인 크롤 경로 구축
사이트맵 정리하기
- 사이트맵에는 정규화된 색인 가능 URL만 포함
- lastmod 날짜는 콘텐츠가 실제로 변경될 때만 업데이트, 허위 날짜로 스팸 금지
- 404 에러, 리다이렉트, noindex 처리된 URL을 사이트맵에서 제거
- 용량이 큰 사이트맵은 카테고리별 사이트맵 인덱스 파일로 분할
크롤 예산 모니터링하는 방법
| 도구 | 확인 가능한 정보 | 비용 |
|---|---|---|
| Google Search Console (크롤 통계) | 총 요청 수, 응답 코드, 파일 유형, Googlebot 종류, 평균 응답 시간 | 무료 |
| 서버 로그 분석 | 크롤된 정확한 페이지, 크롤 빈도, 사용자 에이전트, 상태 코드 | 무료 (직접 운영) |
| Screaming Frog Log Analyzer | 시각화된 로그 분석, 크롤 빈도 매핑, 봇 식별 | 연 £99부터 |
| Oncrawl | 크롤 예산 인사이트가 포함된 엔터프라이즈급 로그 분석 | 월 $69부터 |
정리하며
크롤 예산 최적화는 구글봇의 모든 방문을 의미 있게 만드는 일입니다. 가치 있는 페이지로 봇을 유도하고, 저가치 URL에서의 낭비를 제거하며, 구글의 크롤 요청을 효율적으로 처리할 수 있는 서버 환경을 갖추는 것이 핵심입니다. 대규모 사이트라면 이 최적화가 색인 완료 시간을 시간 단위에서 개월 단위로 줄이는 결정적인 요소가 될 수 있습니다.
기술 SEO 전문 지원이 필요하신가요?
저희 팀은 체계적인 크롤 감사를 수행하고 중요 페이지의 색인 속도를 높이는 최적화를 실행합니다. 대규모 이커머스와 콘텐츠 퍼블리셔 사이트 최적화에 특화되어 있습니다.
무료 크롤 감사 신청하기 →
댓글
질문이나 경험이 있으신가요? 대화에 참여해 주세요. 이메일은 공개되지 않습니다.
How long does it typically take to see results?
Great question! This is something we see frequently with our clients. The key is consistency rather than a one-time fix.