SiteOps
トップメディアダッシュボード更新履歴
記事一覧

robots.txt を変えたらクロールが止まったとき、最初の30分でやること

robots.txt を触った直後にクロール/インデックスが止まったとき、最初の30分で誤ブロックを特定して最小差分で戻す手順です。

著者: 川原更新: 2026-05-13検索改善RSS
Xで共有FacebookLinkedIn
料金相談

robots.txt を触った直後に Search Console のクロールやインデックスが止まった（または急に減った）とき、最初の30分でやるべきことは「原因を当てにいく」ではなく「どのURLパスが、どのユーザーエージェントで、どのルールによりブロックされているかを確定して、最小の差分で戻す」ことです。
robots.txt は“インデックスから消す仕組み”ではなく“クロールを制御する仕組み”なので、ブロックの仕方を間違えると検証が長引きます。

0. まずやらないこと

  • いきなり robots.txt を全面書き換えする
  • Disallow: / などの強いルールを「とりあえず」で入れる
  • noindex を robots.txt でやろうとする（Google は robots.txt の noindex をサポートしません）
  • 原因が確定していないのに、サイト全体のリダイレクトやURL構造変更に手を出す

最初の30分は「直す」より「切り分け」です。ロールバックできる最小差分で、安全に戻します。

1. “何が止まったのか”を定義（3分）

混ざりやすいので、まず症状を1行で固定します。

  • クロールが止まった（Googlebot が取りに来ていない/減った）
  • インデックスが減った（クロールはあるが登録が落ちた）
  • 特定ディレクトリだけが消えた（例: /blog/、/docs/ だけ）

この定義が曖昧だと、robots.txt を触っても“効いたのかどうか”が分からなくなります。

2. robots.txt の“いまの中身”を確定（5分）

次の2つを固定します。

  • 本番の https://<domain>/robots.txt を開いて、現行の内容をコピペで保存（作業ログに貼る）
  • デプロイ/更新履歴（CMS、CDN、ビルド）で、いつ誰が変えたかを確定

「ローカルの想定」と「本番のrobots.txt」が違うだけで、30分が溶けます。

3. ルールが効く“対象”を最短で絞る（10分）

robots.txt は“対象URLパス”と“ユーザーエージェント”で効き方が変わります。次を確認します。

  • User-agent: * だけでなく User-agent: Googlebot / Googlebot-Image / AdsBot-Google 等が入っていないか
  • Disallow: が意図せず広くなっていないか（例: Disallow: /?、Disallow: /*? のつもりが / を塞いでいる）
  • Allow: と Disallow: の優先関係で、想定外の勝ち負けになっていないか
  • クロールさせたい領域（例: / や /sitemap.xml）が塞がれていないか

この10分の目的は「ブロックしている“1行”を見つける」ことです。

4. “noindex をしたい”のか“クロールを減らしたい”のかを分ける（5分）

robots.txt でページをブロックしても、外部リンク等の情報だけで URL が検索結果に出続けることがあります。
検索結果から落としたいなら、robots.txt ではなく noindex（meta / HTTP header）で扱う方が速いです。

逆に、クロール負荷を下げたい（無駄なURLを巡回させたくない）なら robots.txt が向きます。

5. 30分で出す“結論”の型

最初の30分で、次のどれかに分類して次の1時間の作業を固定します。

  1. robots.txt の誤ブロック: ブロック行を特定 → 最小差分で修正/ロールバック → 反映確認へ
  2. robots.txt 以外（配信/認証/障害）: robots.txt は正常 → ホスト障害/認証/5xx/403 を優先して切り分けへ
  3. “検索結果から消したい”要求の取り違え: robots.txt ではなく noindex 方針に切り替え → 対象ページから適用へ

分類ができれば、次の1時間は“正しい手段”だけを触れます。

関連

  • /media/search-console-sitemap-fetch-error-first-30-minutes
  • /media/sitemap-url-drop-first-30-minutes
  • /media/search-console-indexing-drop-first-30-minutes

参考にした一次情報

  • Google Search Central: Introduction to robots.txt
  • Search Console Help: Crawl Stats report
  • Google Search Central: Block Search indexing with noindex

この記事を書いた人

川原

SiteOps編集チームの公開窓口として、検索、アクセス、収益データをもとにした運営判断の知見をまとめています。

著者情報

関連記事

Search Consoleでクロール異常（Crawl anomaly）が増えたとき、最初の30分でやること検索改善更新: 2026-05-18Search ConsoleでAlternate page with proper canonical tagが増えたとき、最初の30分でやること検索改善更新: 2026-05-17Search Consoleで“Excluded by 'noindex' tag”が増えたとき、最初の30分でやること検索改善更新: 2026-05-16
前の記事毎朝10分の“見る順番”を固定して、運用を続ける次の記事github.com が引けない（Could not resolve host）の最初の30分でやること

次にやること

複数サイトの検索、アクセス、収益データをまとめて見直すなら、SiteOpsのダッシュボードでサイト別に確認できます。

料金を見る相談したい / お問い合わせ