AI クローラーの Webbot 認証: ガイド。

#AI クローラーのための Webbot 認証: AEO の実践ガイド

Web Bot Auth は、クローラーと自動エージェントが暗号化 HTTP 署名を使用して身元を証明する方法です。 AEO にとって、クローラー ID が信頼の層になりつつあるため、これは重要です。サイト所有者は、有用な検索、応答、およびエージェントのトラフィックを、スプーフィング、スクレイピング、悪用から区別する必要があります。

Web Bot認証とは何ですか?#

CloudflareのWebボット認証ドキュメント(https://developers.cloudflare.com/bots/reference/bot-verification/web-bot-auth/)では、HTTPメッセージの暗号署名を使用してリクエストが自動化されたボットからのものであることを確認する認証方法として説明されています。 Cloudflareは、公開鍵ディレクトリとリクエストの署名動作に関するアクティブなIETFドラフトに基づいて、検証済みのボットと署名されたエージェントにこれを使用します。

平たく言えば、トラッカーは公開キーを公開し、その秘密キーでリクエストに署名します。そして、受信側のインフラストラクチャはリクエストが本当にそのトラッカーからのものであるかどうかを検証できます。

これは、AI クローラー用の robots.txt とは別の問題です。 robots.txt は、クローラーが何をすべきかを示します。 Web Bot Auth は、トラッカーが誰であるかを証明するのに役立ちます。

トラッカーの ID が今重要な理由#

AI 検索と自律エージェントにより、混乱を招くトラフィック ミックスが生成されます。

• クラシックな検索トラッカー
• AI 応答トラッカー
• トラッカートレーニング
• ユーザーに代わって機能するブラウザエージェント
• 商用スクレイピング システム
• 信頼できるユーザー エージェント文字列を使用する偽のボット
• セキュリティスキャナーとモニター

それらがすべて同じに見える場合、サイト所有者には厳しい選択肢しかありません。許可しすぎるかブロックしすぎるかです。 AEO には、信頼できるエージェントがパブリック コンテンツにアクセスでき、信頼できないトラフィックがチャレンジまたは制限される中間層が必要です。

Web ボット認証と一般的な検証方法#

|方法 |それが証明するもの |強さ |弱点 |

考えられる将来は、1 つの方法が他のすべてを置き換えるということではありません。階層化された検証です。

フローの仕組み#

高レベルでは:

1. トラッカーは署名キーを生成します。
2. クローラーは、既知の場所にキー ディレクトリをホストします。3.クローラーは、ボットとキー ディレクトリを検証プロバイダーに登録します。
3. 検証後、トラッカーはリクエストに署名します。
4. 受信側システムは署名を検証し、ポリシーを適用します。

Cloudflareのドキュメントには、Ed25519キー、キーディレクトリ、HTTPS、署名付きHTTPヘッダーなどの特定の要件が含まれています。

AEO ポリシーの影響#

Web Bot Auth は、「このマシンのリクエストは、エージェントが読み取り可能なパブリック サーフェスにアクセスするのに十分な信頼性を持っている必要がありますか?」という実際的な質問に答えるのに役立ちます。

AEO 対応サイトの場合、以下に影響する可能性があります。- AI クローラーがドキュメントにアクセスできるかどうか

• エージェントのトラフィックが公開ガイドを読めるかどうか
• 大量のスクレイピングの速度が制限されている場合
• API ドキュメントは表示されるが、実行エンドポイントで認証が必要な場合
• 署名されたエージェントは匿名ボットとは異なる扱いを受けるかどうか

これは、実行層 と エージェント可観測性ガードレール に直接接続します。

推奨されるアクセス レイアウト#

|敷地面積 |推奨されるアクセス ポリシー |

目標は、プライベート システムをオープン ツールに変えることなく、パブリック Web をエージェントにとって便利なものにすることです。

導入チェックリスト#

1. 現在サイトに到着しているボットの一覧を作成します。
2. 検索、人工知能、トレーニング、監視、トラフィックのスクレイピングを分離します。
3. llms.txt と公開ドキュメントにアクセスできるようにします。
4. Googlebot、Bingbot、その他の一般的な検出システムを誤ってブロックしないボット ルールを追加します。
5. サポートされている場合は、Web Bot Auth または同様の検証を使用します。
6. URL、ステータス コード、レート制限アクションとともに検証ステータスを記録します。
7. CDN、ファイアウォール、またはサイトの移行を変更するたびにルールを確認します。

よくある質問#

Web Bot 認証は Cloudflare 専用ですか?#

Cloudflare はその実装を文書化していますが、そのアイデアは HTTP メッセージ署名と主要ディレクトリの広範なドラフトに基づいています。導入はインフラストラクチャとトラッカーのサポートに依存します。

Web Bot Auth は、コンテンツを何に使用できるかをクローラーに伝えますか?#

いいえ、身元を確認してください。使用設定には、robots.txt、コンテンツ トークン、契約、アクセス ルールなどのポリシー レイヤーが必要です。

Web Bot Auth は逆引き DNS 検証を置き換えることができますか?#

すぐにはだめです。多くのサイトでは、特に署名付きトラッカーの採用が不均一な場合には、両方を使用することになります。### なぜこれが AI エージェントにとって重要なのでしょうか?

エージェントは、ユーザーまたはシステムに代わって Web リクエストを行うことが増えています。署名付き ID を使用すると、信頼できるエージェント、匿名トラッカー、不正な自動化にさまざまなルールを簡単に適用できます。

結論#

Web Bot Auth は、信頼できるクローラー プリミティブです。これだけではコンテンツのライセンスや AI の可視性を解決することはできませんが、AEO チームはどのマシン トラフィックがアクセスに値するかを判断するためのより良い基盤を提供します。