クロールバジェット最適化:Googleにサイトを高速クロールさせる方法
重要ポイント
- クロールバジェット とは、Googleが一定期間内にサイトでクロールするページ数のことで、大規模サイトにとっては有限のリソースです。
- ページ数が 10,000未満のサイトでは、クロールバジェットが問題になることは稀です。大規模サイト(EC、メディア、SaaS)では極めて重要です。
- 最大のクロールバジェット浪費要因は ファセットナビゲーション、パラメータURL、重複コンテンツ、リダイレクトチェーン、ソフト404.
- クロールバジェットを最適化するには、Googlebotを 価値の高いページ に誘導し、価値の低いページ、重複ページ、技術的なページへのアクセスをブロックします。
- サーバー応答時間はクロール速度に直接影響します。 高速なサーバーほど多くクロールされます.
目次
Googlebotがサイトを訪問するたびに、使えるリソースは限られています。すべてのURLを無限にクロールすることはできず、優先順位をつけなければなりません。小規模サイトでは問題になることはほとんどありませんが、数千、数百万ページを持つ大規模サイトでは、クロールバジェットの管理方法が、重要なページが数時間でインデックスされるか、数週間放置されるかの分かれ目になります。
クロールバジェットとは
クロールバジェットは2つの要素で決まります。
- クロールレート制限: サーバーに過負荷をかけないようにGoogleが使用する最大クロール速度。サーバーの応答時間と処理能力に基づいて自動調整されます。
- クロール需要: URLの人気度、鮮度、サイト全体のイベント(サイトマップの更新や大規模なコンテンツ変更など)に基づいて、Googleがサイトをクロールしたい頻度。
実際のクロールバジェットは、この2つの要素の交点です。サーバーが遅い場合、Googleは問題を避けるためにクロールレートを下げます。コンテンツがほとんど変わらない場合、Googleは新しいものを見つける必要がないため、クロール需要を減らします。
クロールバジェットはあなたのサイトに重要か
| サイト規模 | クロールバジェットの優先度 | 必要な対応 |
|---|---|---|
| 1,000ページ未満 | 低 | コンテンツとリンクに注力 |
| 1,000〜10,000ページ | 低〜中 | 基本的な最適化(サイトマップの整理、エラー修正) |
| 10,000〜100,000ページ | 中〜高 | 積極的なクロールバジェット管理が必要 |
| 100,000ページ以上 | 重要 | インデックス化のために高度な最適化が必須 |
クロールバジェットが重要になる場合: 数千の商品ページを持つECサイト、膨大なアーカイブを持つ大手パブリッシャー、ユーザー生成コンテンツを持つSaaSプラットフォーム、複雑なファセットナビゲーションやフィルタリングシステムを持つサイトなど。
Googleがクロール対象を決める方法
Googleは複数のシグナルに基づいてクロールの優先順位を決定します。
- URLの人気度: 被リンクやトラフィックが多いページほど頻繁にクロールされる
- コンテンツの鮮度: 頻繁に変更されるページほど再クロールされやすい
- サイトマップシグナル: XMLサイトマップ内で最新のlastmod日付を持つページが優先される
- 内部リンクの深さ: ホームページに近い(クリック数が少ない)ページほど早く発見される
- ページ重要度シグナル: GoogleはPageRankなどのシグナルを使って価値の高いページを優先する
クロールバジェットを浪費する10の要因
- ファセットナビゲーション: 色、サイズ、価格のフィルター組み合わせによる数百万のURL生成
- URLパラメーター: トラッキングパラメーター、セッションID、並び順による重複URL生成
- 重複コンテンツページ: canonicalタグのない同一コンテンツの複数URL
- リダイレクトチェーン: A→B→C→Dの連鎖は各ホップでクロールリソースを無駄に消費
- ソフト404ページ: 200ステータスを返すがエラーまたは空コンテンツを表示するページ
- 内部検索結果ページ: 低価値な検索結果URLが数千もクロールされる状態
- 無限カレンダーページ: カレンダーウィジェットが過去・未来の日付URLを無限生成
- タグ・カテゴリーアーカイブの肥大化: 重複コンテンツを含む薄いタグページが数百も存在
- サーバーレスポンスの遅延: TTFBが高いとGoogleが1回の訪問でクロールするページ数が減少
- ハッキング・スパムページ: 注入されたスパムページが本来のコンテンツ用クロールバジェットを消費
クロールバジェット最適化戦略
低価値URLのブロック
- robots.txtでファセットナビゲーション、内部検索、パラメーターURLを除外
- 残したいが検索順位は不要な薄いページにnoindexを追加
- Google Search ConsoleのURLパラメーターツールでパラメーター処理方法を指定
サーバーパフォーマンスの改善
- TTFB 200ms以下を目標、レスポンシブなサーバーはGoogleのクロール速度が向上
- HTTP/2で多重化接続を活用
- サーバーサイドキャッシュで繰り返しリクエストの応答時間を短縮
- CDN導入でGooglebot(米国拠点IPからクロール)のレイテンシ削減を検討
内部リンクの最適化
- 重要ページはホームから3クリック以内に配置
- 壊れた内部リンクを修正または削除(行き止まりでクロールバジェットを浪費)
- パンくずリストとコンテクストリンクで効率的なクロールパスを構築
サイトマップのクリーン化
- サイトマップにはcanonicalかつインデックス可能なURLのみを含める
- lastmod日付は実際にコンテンツが変更された時のみ更新(偽の日付は使用禁止)
- 404、リダイレクト、noindexのURLをサイトマップから削除
- 大規模サイトマップはカテゴリー別のサイトマップインデックスファイルに分割
クロールバジェットのモニタリング方法
| ツール | 確認できる内容 | 費用 |
|---|---|---|
| Google Search Console(クロール統計) | 総リクエスト数、レスポンスコード、ファイルタイプ、Googlebotタイプ、平均レスポンス時間 | 無料 |
| サーバーログ解析 | クロールされた正確なページ、頻度、ユーザーエージェント、ステータスコード | 無料(自社対応) |
| Screaming Frog Log Analyzer | ビジュアルログ解析、クロール頻度マッピング、ボット識別 | £99/年~ |
| Oncrawl | クロールバジェットインサイト付きエンタープライズログ解析 | $69/月~ |
まとめ
クロールバジェット最適化とは、Googlebotの訪問を最大限に活用することです。最も価値の高いページにボットを誘導し、価値の低いURLの無駄を排除し、Googleのクロール需要にサーバーが効率的に対応できるようにします。大規模サイトでは、数時間でインデックスされるか数ヶ月かかるかの分かれ目になります。
テクニカルSEOのサポートが必要ですか?
当社チームは包括的なクロール監査を実施し、重要ページのインデックス速度を向上させる最適化を実装します。大規模ECサイトとパブリッシャーサイトを専門としています。
無料クロール監査を受ける →
コメント
質問や体験がありますか？会話に参加してください。メールアドレスは公開されません。
How long does it typically take to see results?
Great question! This is something we see frequently with our clients. The key is consistency rather than a one-time fix.