크롤 예산 최적화: Google이 당신의 사이트를 더 빠르게 크롤하도록
핵심 요점
- 크롤 예산 은 주어진 기간 동안 Google이 당신의 사이트에서 크롤할 페이지 수입니다. 대규모 사이트에서는 한정된 리소스입니다.
- 페이지 수가 10,000개 미만인 사이트의 경우크롤 예산은 거의 문제가 되지 않습니다. 하지만 대규모 사이트(전자상거래, 퍼블리셔, SaaS)에서는 매우 중요합니다.
- 가장 큰 크롤 예산 낭비 요인은 패싯 네비게이션, 파라미터 URL, 중복 콘텐츠, 리다이렉트 체인, 소프트 404입니다.
- Googlebot을 고가치 페이지로 유도하고 저가치, 중복, 기술적 페이지에 대한 접근을 차단하여 크롤 예산을 최적화하세요.
- 서버 응답 시간이 크롤 속도에 직접 영향을 미칩니다. 더 빠른 서버는 더 많이 크롤됩니다.
목차
Googlebot이 웹사이트를 방문할 때마다 사용할 수 있는 리소스가 제한되어 있습니다. 모든 URL을 무한정 크롤링할 수 없으며 우선순위를 정해야 합니다. 소규모 사이트에서는 거의 문제가 되지 않지만, 수천 개 또는 수백만 개의 페이지를 가진 대규모 사이트에서는 크롤 예산을 어떻게 관리하느냐에 따라 중요한 페이지가 몇 시간 내에 색인되는지 아니면 몇 주 동안 무시되는지가 달라집니다.
크롤 예산이란 무엇인가?
크롤 예산은 두 가지 요소로 결정됩니다.
- 크롤 속도 제한: 서버에 부하를 주지 않으면서 Google이 사용하는 최대 크롤 속도입니다. 이는 서버의 응답 시간과 용량에 따라 자동으로 조정됩니다.
- 크롤 수요: URL의 인기도, 콘텐츠 최신도, 사이트 전체 이벤트(사이트맵 업데이트 또는 주요 콘텐츠 변경 등)를 바탕으로 Google이 사이트를 크롤링하려는 정도입니다.
실제 크롤 예산은 이 두 요소의 교점입니다. 서버 속도가 느리면 Google은 문제 유발을 피하기 위해 크롤 속도를 줄입니다. 콘텐츠 변경이 드물면 발견할 새로운 내용이 없으므로 Google은 크롤 수요를 줄입니다.
크롤 예산이 내 사이트에 정말 중요한가?
| 사이트 규모 | 크롤 예산 우선순위 | 필요한 조치 |
|---|---|---|
| 1,000개 미만 | 낮음 | 콘텐츠와 링크에 집중 |
| 1,000~10,000개 | 낮음-중간 | 기본 최적화(사이트맵 정리, 오류 수정) |
| 10,000~100,000개 | 중간-높음 | 적극적인 크롤 예산 관리 필요 |
| 100,000개 이상 | 매우 중요 | 색인화를 위해 고급 최적화 필수 |
크롤 예산이 중요해지는 경우: 수천 개의 상품 페이지를 가진 전자상거래 사이트, 방대한 아카이브를 보유한 대형 퍼블리셔, 사용자 생성 콘텐츠를 다루는 SaaS 플랫폼, 그리고 복잡한 패싯 네비게이션이나 필터링 시스템을 갖춘 모든 사이트입니다.
Google이 어떤 페이지를 크롤링할지 결정하는 방식
Google은 여러 신호를 바탕으로 크롤링 우선순위를 정합니다.
- URL 인기도: 백링크와 트래픽이 많은 페이지는 더 자주 크롤링됩니다
- 콘텐츠 최신도: 자주 변경되는 페이지는 더 자주 재크롤링됩니다
- 사이트맵 신호: XML 사이트맵에 있으면서 최근의 lastmod 날짜를 가진 페이지가 우선순위를 받습니다
- 내부 링크 깊이: 홈페이지에 가까운 페이지(클릭 수가 적은 페이지)가 더 빨리 발견됩니다
- 페이지 중요도 신호: Google은 PageRank 및 기타 신호를 사용하여 높은 가치의 페이지에 우선순위를 부여합니다
크롤 예산 낭비 상위 10가지
- 패싯 네비게이션: 색상/사이즈/가격 필터 조합으로 인한 수백만 개의 URL 변형 생성
- URL 파라미터: 추적 파라미터, 세션 ID, 정렬 순서로 인한 중복 URL 생성
- 중복 콘텐츠 페이지: 캐노니컬 태그 없이 동일한 콘텐츠를 제공하는 여러 URL
- 리다이렉트 체인: A→B→C→D 구조는 각 단계마다 크롤 리소스 낭비
- 소프트 404 페이지: 200 상태 코드를 반환하지만 오류 또는 비어있는 콘텐츠를 표시하는 페이지
- 내부 검색 결과 페이지: 수천 개의 저가치 검색 결과 URL이 크롤링됨
- 무한 캘린더 페이지: 캘린더 위젯이 과거/미래 날짜에 대한 URL을 무한정 생성
- 태그/카테고리 아카이브 오버플로우: 콘텐츠가 겹치는 수백 개의 얇은 태그 페이지
- 느린 서버 응답: 높은 TTFB는 Google이 방문당 크롤링하는 페이지 수를 감소시킴
- 해킹/스팸 페이지: 주입된 스팸 페이지는 실제 콘텐츠를 위해 예정된 크롤 예산 소비
크롤 예산 최적화 전략
저가치 URL 차단
- robots.txt를 사용하여 패싯 네비게이션, 내부 검색, 파라미터 URL 차단
- 유지하되 순위를 원하지 않는 얇은/저가치 페이지에 noindex 추가
- Google Search Console의 URL 파라미터 도구를 사용하여 파라미터 처리 방식 지정
서버 성능 개선
- TTFB를 200ms 이하로 목표 설정, Google이 반응형 서버에서 더 빠르게 크롤링
- 멀티플렉싱된 연결을 위해 HTTP/2 사용
- 반복 요청의 응답 시간 단축을 위해 서버 측 캐싱 구현
- Googlebot의 레이턴시 감소를 위해 CDN 검토 (US 기반 IP에서 크롤링)
내부 링크 최적화
- 중요한 페이지가 홈페이지에서 3클릭 이내에 있는지 확인
- 끊긴 내부 링크 수정 또는 제거 (막다른 곳에서 크롤 예산 낭비)
- 브레드크럼과 컨텍스트 링크를 사용하여 효율적인 크롤 경로 생성
사이트맵 정리
- 사이트맵에는 캐노니컬하고 인덱싱 가능한 URL만 포함
- lastmod 날짜는 콘텐츠가 실제로 변경될 때만 업데이트 (가짜 날짜 스팸 금지)
- 사이트맵에서 404, 리다이렉트, noindex된 URL 제거
- 큰 사이트맵을 카테고리 기반 사이트맵 인덱스 파일로 분할
크롤 예산 모니터링 방법
| 도구 | 제공되는 정보 | 비용 |
|---|---|---|
| Google Search Console (크롤 통계) | 총 요청 수, 응답 코드, 파일 유형, Googlebot 유형, 평균 응답 시간 | 무료 |
| 서버 로그 분석 | 크롤된 정확한 페이지, 빈도, 사용자 에이전트, 상태 코드 | 무료 (직접 운영) |
| Screaming Frog Log Analyzer | 시각화된 로그 분석, 크롤 빈도 맵핑, 봇 식별 | 연 £99부터 |
| Oncrawl | 크롤 예산 인사이트를 포함한 엔터프라이즈 로그 분석 | 월 $69부터 |
결론
크롤 예산 최적화는 Googlebot의 방문 하나하나를 제대로 활용하는 것입니다. 봇을 가장 중요한 페이지로 유도하고, 낮은 가치의 URL에서 낭비를 제거하며, 서버가 Google의 크롤 요청을 효율적으로 처리할 수 있도록 준비하세요. 대규모 사이트의 경우, 이것이 수 시간 내에 인덱싱되는 것과 수개월이 걸리는 것의 차이가 될 수 있습니다.
기술 SEO 도움이 필요하신가요?
저희 팀은 종합적인 크롤 감시를 수행하고 중요한 페이지의 인덱싱 속도를 높이는 최적화를 구현합니다. 대규모 이커머스 및 퍼블리셔 사이트 전문입니다.
무료 크롤 감시 받기 →
댓글
질문이나 경험이 있으신가요? 대화에 참여해 주세요. 이메일은 공개되지 않습니다.
Really helpful breakdown. Been looking for clear info on this topic.
Great question! This is something we see frequently with our clients. The key is consistency rather than a one-time fix.