AIクローラーとrobots.txt｜GPTBot・Google-Extendedの違いと設定

「AIにサイトの情報を使われたくない。でも、AIの検索には載りたい」

「GPTBotやGoogle-Extendedを止めると、どうなるの？」

結論から申し上げると、AIのクローラー（サイトを自動で読み取るプログラム）は、目的ごとに名前が分かれています。たとえばOpenAIでは、ChatGPTの検索に表示するための「OAI-SearchBot」と、AIのモデルの学習に使う「GPTBot」は別のものです。robots.txtで、検索に載るためのクローラーは許可し、学習のためのクローラーは止める、といった使い分けができます。止める相手を間違えると、AIの検索に表示されなくなるため注意が必要です。

この記事では、総合広告代理店フリーザロックエージェントが、OpenAIとGoogleの公式資料をもとに、主なAIのクローラーの違いと、robots.txtの設定の考え方をまとめます。

👉 AIO（AI検索対策）のサービス詳細はこちら＞＞

robots.txtとは

robots.txtは、サイトのいちばん上（例：https://example.com/robots.txt）に置くファイルです。検索エンジンやAIのクローラーに、どのページを読み取ってよいかを伝えます。クローラーの名前（ユーザーエージェント）ごとに、許可（Allow）と禁止（Disallow）を書きます。

OpenAIは、自社のクローラーはrobots.txtの指定に従うと説明しています（OpenAIヘルプセンター「Advertiser Guidance for Allowing OpenAI Web Crawlers」）。

OpenAIのクローラー

OpenAIの公式資料「Overview of OpenAI Crawlers」をもとに、主なクローラーをまとめます。

OpenAIは、それぞれの設定は独立していると説明しています。たとえば、OAI-SearchBotを許可して検索結果に表示されるようにしながら、GPTBotを止めて学習には使わないよう伝えることができます。robots.txtを変えてから、検索の仕組みに反映されるまで、24時間ほどかかることがあります。

Googleのクローラー

Google検索セントラル「Google の一般的なクローラ」によると、Google-Extendedは、それ自体が別の名前でページを読みに来るのではなく、robots.txtで使うための名前（トークン）です。読み取り自体は、Googleの既存のクローラーで行われます。

また、Google検索セントラルの「AI 機能とウェブサイト」では、AI機能は検索に組み込まれているため、検索のためのアクセスはGooglebotのrobots.txtの指定で管理すると説明しています。検索の結果に使われる情報の範囲を制限するには、nosnippet、data-nosnippet、max-snippet、noindexといった指定を使います。

目的別の設定の考え方

robots.txtの書き方の例

OpenAIの検索には表示されたいが、モデルの学習には使われたくない場合の例です。

※書き方の例です。実際の設定は、サイトの構成や方針に合わせて決めます。

学習に使われることを止めるかどうかは、会社の方針によります。広く知ってもらうことを優先して許可する考え方も、自社の情報の扱いを優先して止める考え方もあります。大切なのは、「止めたいもの」と「止めると困るもの」を分けて判断することです。

robots.txt以外で止まっていることもある

robots.txtで許可していても、サーバーやセキュリティの設定で、クローラーが止められていることがあります。OpenAIヘルプセンターでは、次のような例を挙げています。

・セキュリティの仕組み（WAF・CDN）：CloudflareやAkamaiなどのサービスが、403エラーを返すことがある。クローラーの名前を許可リストに入れる

・人の操作かを確かめる仕組み：CAPTCHAやJavaScriptの確認画面が、クローラーを止めることがある

・アクセスの制限：アクセスが集中すると、429エラーで止められることがある

Google検索セントラルでも、robots.txtだけでなく、CDNやサーバーの設定でクロールが許可されていることを確かめるよう説明しています。

なりすましのクローラーに注意

クローラーの名前は、名乗るだけなら誰でもまねできます。OpenAIは、ログに出るIPアドレスだけに頼らず、クローラーの名前、ファイアウォールの許可リスト、robots.txtへの反応、サービス事業者による確認を組み合わせて確かめるようすすめています。固定のIPアドレスの一覧が必要な場合は、OpenAIが公開している一覧（searchbot.json、adsbot.jsonなど）を使います。

設定を見直すときのチェックリスト

・自社のrobots.txtに、どのクローラーへの指定が書かれているかを確かめる

・「すべてのクローラーを止める」指定が、意図せず検索のクローラーまで止めていないか

・GooglebotとOAI-SearchBotを、意図せず止めていないか

・セキュリティの仕組みで、クローラーが403エラーになっていないか

・学習への利用について、会社としての方針を決めているか

・設定を変えたら、反映まで時間がかかることを見込んで確かめる

よくある質問

Q. GPTBotを止めると、ChatGPTの検索に表示されなくなりますか？

A. OpenAIは、OAI-SearchBotとGPTBotの設定は独立していると説明しています。ChatGPTの検索への表示は、OAI-SearchBotの設定で管理します。GPTBotを止めても、OAI-SearchBotを許可していれば、検索の結果に表示される可能性はあります。

Q. Google-Extendedを止めると、GoogleのAI による概要に表示されなくなりますか？

A. Googleは、Google-ExtendedはGoogle検索への掲載や順位に影響しないと説明しています。AI による概要やAI モードは検索の仕組みの中で動いているため、Googlebotの設定とスニペットの指定で管理します。

Q. 設定を変えたら、すぐに反映されますか？

A. すぐには反映されません。OpenAIは、robots.txtの変更が検索の仕組みに反映されるまで24時間ほどかかることがあるとしています。Googleも、再クロールには数日から数か月かかる場合があると説明しています。

まとめ：止めたいものと、止めると困るものを分ける

・AIのクローラーは目的ごとに名前が分かれている

・OpenAIでは、検索はOAI-SearchBot、学習はGPTBot、利用者の操作はChatGPT-User、広告の確認はOAI-AdsBot

・GoogleのAI機能はGooglebotで管理。Google-Extendedは検索への掲載や順位に影響しない

・検索に載りたいなら、検索のクローラーは止めない。学習への利用は会社の方針で判断する

・robots.txtだけでなく、セキュリティの設定でも止まっていないかを確かめる

AIの回答に引用されるサイトの整え方はAIに引用されるサイトのつくり方、自社がどう紹介されているかの調べ方は自社がAIにどう紹介されているか調べる方法をご覧ください。

👉 AIクローラーの設定を含むサイト診断を相談する＞＞