robots.txtの許可・拒否を実例で判断する

4つの判断を分ける

同じDisallowでも、対象botとpathが違えば判断が変わります。robotsで決められることと、別担当へ渡すことを分離します。

4つの合成例を見る

Googlebotの/private/拒否、全botの/tmp/拒否、公開assetsの許可、検索queryの対象外を例にします。fixtureはlive siteの監査結果ではありません。

設定担当へ渡す順番

1. 対象bot、対象path、期待する状態を固定する。
2. robots.txtのdirectiveとpathの一致を確認する。
3. 許可・拒否はクロール規則として判断し、アクセス制御とは分ける。
4. 削除、認証、index制御など別目的はSEO/アプリ担当へ引き継ぐ。
5. 未確認の行を残したまま設定済み・解決済みとはしない。

このガイドとfixtureは静的ファイルです。サイトへfetchしたり、設定を変更したりしません。

robots.txtが保証しないこと

robots.txtは認証・秘密保持・検索結果からの削除・現在のcrawler活動・index状態を保証しません。目的に応じてページ側の設定や担当者の手続きを確認します。