クロールバジェット最適化: Googleをサイトにもっとクロールさせる方法
パフォーマンスマーケティングスペシャリスト
シニアメディアバイヤーによる審査
公開日: 2023年6月1日更新日: 2026年4月5日
著者 Unled Network · 2026年4月5日 · 読了時間13分
重要なポイント
- クロールバジェット とは、一定期間にGoogleがサイト上をクロールするページ数のことで、大規模サイトではこれが有限なリソースになります。
- ページ数が 10,000ページ未満のサイトでは、クロールバジェットはほとんど問題になりません。ただし、大規模サイト(eコマース、パブリッシャー、SaaS)では重要です。
- クロールバジェットを浪費する最大の原因は ファセット型ナビゲーション、パラメータURL、重複コンテンツ、リダイレクトチェーン、ソフト404エラー.
- クロールバジェットを最適化するには、Googlebotを 高価値ページ に向かわせ、低価値ページ、重複ページ、技術的なページへのアクセスをブロックします。
- サーバーレスポンス時間はクロール速度に直接影響を与えます。 速いサーバーはより多くクロールされます.
Googlebot がウェブサイトを訪れるたびに、使用できるリソースには限りがあります。すべての URL を無限にクロールすることはできず、優先順位をつける必要があります。小規模なサイトであればほとんど問題になりませんが、数千ページから数百万ページを持つ大規模サイトでは、クロール予算の管理が重要なページを数時間でインデックスさせるか、数週間無視されるかの分かれ目になります。
クロール予算とは
クロール予算は2つの要素で決定されます。
- クロール速度上限, サーバーに負荷をかけないようにしながら Google が使用する最大クロール速度です。サーバーの応答時間と処理能力に基づいて自動調整されます。
- クロール需要, URL の人気度、コンテンツの更新頻度、サイト全体のイベント (サイトマップ更新や大規模なコンテンツ変更など) に基づいて、Google がサイトをクロールしたい度合いです。
実質的なクロール予算は、これら 2 つの要素の交差点です。サーバーが遅い場合、Google は問題を回避するためにクロール速度を低下させます。コンテンツがめったに変わらない場合、新しい発見がないため Google はクロール需要を削減します。
クロール予算はあなたのサイトに関係あるか
| サイトのサイズ | クロール予算の優先度 | 必要なアクション |
|---|
| 1000 ページ未満 | 低 | コンテンツとリンク構築に注力 |
| 1000 から 10000 ページ | 低から中程度 | 基本的な最適化 (サイトマップの整理、エラー修正) |
| 10000 から 100000 ページ | 中程度から高 | 積極的なクロール予算管理が必要 |
| 100000 ページ以上 | 重大 | インデックス登録のための高度な最適化が必須 |
クロール予算が重大になる場合, 数千の商品ページを持つ EC サイト、膨大なアーカイブを持つ大手パブリッシャー、ユーザー生成コンテンツを含む SaaS プラットフォーム、複雑なファセット ナビゲーションやフィルタリング システムを備えたすべてのサイト。
Google がクロール対象を決める方法
Google はいくつかのシグナルに基づいてクロール優先順位をつけます。
- URL の人気度, より多くのバックリンクとトラフィックを持つページはより頻繁にクロールされます。
- コンテンツの鮮度, 頻繁に変更されるページはより頻繁に再クロールされます。
- サイトマップシグナル, XML サイトマップに含まれる最終更新日が最近のページは優先度が高くなります。
- 内部リンク深度, ホームページに近いページ (クリック数が少ない) はより速く検出されます。
- ページの重要度シグナル, Google は PageRank と他のシグナルを使用して高価値ページの優先順位をつけます。
クロール予算を無駄にしているトップ 10 要因
- ファセットナビゲーション, 色、サイズ、価格フィルターの組み合わせで数百万のURL異なりが発生
- URLパラメータ: トラッキングパラメータ、セッションID、ソート順序が重複URLを生成
- 重複コンテンツページ: 複数のURLが同じコンテンツを配信し、正規タグがない状態
- リダイレクトチェーン: A→B→C→Dのチェーンは、各ホップでクローリングリソースを浪費
- ソフト404ページ: ステータス200を返しながらエラーや空のコンテンツを表示するページ
- 内部検索結果ページ: 数千の低価値検索結果URLがクローリング対象になっている
- 無限カレンダーページ: カレンダーウィジェットが過去と未来の日付のURLを際限なく生成
- タグ/カテゴリアーカイブの肥大化: 数百の薄いタグページが重複したコンテンツを保有
- サーバーレスポンスが遅い: TTFBが高いとGoogleのクローリングが訪問ごとに少ないページしかカバー
- ハッキング/スパムページ: 注入されたスパムページが本来のコンテンツに使うべきクローリングバジェットを消費
クローリングバジェット最適化戦略
低価値URLをブロック
- robots.txtでファセットナビゲーション、内部検索、パラメータURLをブロック
- 薄いページや低価値ページにnoindexを追加(保持したいが順位獲得は不要な場合)
- Google Search ConsoleのURLパラメータツールを使って、パラメータの処理方法を指定
サーバーパフォーマンスを改善
- TTFBを200ms以下に目指す、レスポンスが高速なサーバーはGoogleが素早くクローリング
- HTTP/2で多重接続を実現
- サーバーサイドキャッシュで、繰り返されたリクエストのレスポンス時間を削減
- CDNを検討して、Googlebot(US拠点IPからクローリング)のレイテンシを低減
内部リンクを最適化
- 重要なページはホームページから3クリック以内でアクセス可能に
- 壊れた内部リンクを修正または削除(クローリングの無駄な終点になるため)
- パンくずリストとコンテキストリンクで、効率的なクローリングパスを構築
サイトマップをクリーンに保つ
- 正規的でインデックス可能なURLだけをサイトマップに含める
- lastmod日付は、コンテンツが実際に変わったときだけ更新(偽の日付でスパムしない)
- 404、リダイレクト、noindexされたURLをサイトマップから削除
- 大規模なサイトマップをカテゴリベースのサイトマップインデックスファイルに分割
クローリングバジェットを監視する方法
| ツール | 表示内容 | 料金 |
|---|
| Google Search Console(クロール統計) | 総リクエスト数、ステータスコード、ファイルタイプ、Googlebotの種類、平均応答時間 | 無料 |
| サーバーログ分析 | クロール済みページの詳細、クロール頻度、ユーザーエージェント、ステータスコード | 無料(自社運用) |
| Screaming Frog Log Analyzer | ビジュアルログ分析、クロール頻度マッピング、ボット判定 | 年額£99から |
| Oncrawl | エンタープライズグレードのログ分析とクロール予算インサイト | 月額$69から |
まとめ
クロール予算最適化とは、Googlebotの訪問を最大限に活かすことです。ボットを価値の高いページに誘導し、低価値URLへのアクセスを排除し、Googleのクロール需要に効率的に対応できるサーバー環境を整える。大規模サイトではこの施策が、数時間でのインデックスと数ヶ月でのインデックスの分かれ目になります。
技術SEOでお困りですか?
当チームは包括的なクロール監査を実施し、重要ページを素早くインデックスさせる最適化を行います。大規模なEコマースサイトと出版社サイトに特化しています。
無料クロール監査を受ける →