AIのクローラーは本当に来ているのか — 自社サイトのアクセスログを3日間数えた記録

「AIに読まれる時代だから対策を」という話はよく聞きますが、自分のサイトに本当にAIのクローラーが来ているのかを、数字で確かめた人は少ないのではないでしょうか。来ているのか、来ていないのか。来ているなら、どこの誰が、どれくらい来ているのか。

ちょうど手元に、公開したばかりのサイトが2つありました。そこでアクセスを記録する仕組みを入れて、3日間ぶんを数えてみました。この記事は、その実測値と、同じことを自分のサイトで確かめるための手順、そして数えてみて初めて分かった落とし穴の記録です。

結論：3日間で300回以上来ていた

先に結果です。運営する2サイト（本サイトと、同時期に公開した不動産系のサイト）の合計で、2026年8月16日から18日までの3日間に記録したアクセス数は次のとおりでした。

公開して数日、記事は数本、被リンクもほぼゼロのサイトです。それでもAI各社のクローラーは初日から到達していました。「まだ小さいサイトだから読まれていないだろう」という感覚は、少なくともこの実測とは合いませんでした。

やったことは特別ではありません。独自ドメインでHTTPS、robots.txtでAI関連のユーザーエージェントを許可、サイトマップを設置。この程度で到達しています。

どうやって数えたか

両サイトはCloudflare Workers上で動かしているので、リクエストが届いた時点でユーザーエージェント（以下UA）を見て分類し、集計用のデータセットに記録しています。特別なツールは使っていません。

やっていることを言葉にすると、これだけです。

1. リクエストのUA文字列を取得する
2. あらかじめ決めたパターン（ClaudeBot、GPTBot、PerplexityBot など）に当てはめて分類する
3. 分類結果を日時とあわせて記録する
4. あとから分類ごとに件数を数える

レンタルサーバーなどで生のアクセスログが見られる環境なら、ログをUAで絞り込むだけでも同じことができます。手順は最後の節にまとめました。

クロールされることと、引用されることは別

ここが、数えてみて一番はっきりしたことです。

同じ時期に、AI検索に対して固定した20個の質問を投げて、回答の中に自社サイトが出典として登場するかを調べていました。その結果は20問中0件。一方でクローラーは3日間で300回以上到達しています。

つまり当サイトは、読まれてすらいないのではなく、読まれたうえで回答の出典に選ばれていない状態でした。この2つは対策がまったく違います。

もし引用されない理由を「クロールされていないからだ」と決めつけて技術対策に時間を使っていたら、当サイトの場合はすでに満たしている条件をさらに磨くという空振りをしていたことになります。まず自分のログで切り分ける価値は、ここにあります。

クローラー型とユーザー起点型を分けて見る

記録を眺めていて気づいたのは、同じ会社から2種類のアクセスが来ていることでした。上の表でいえば、OpenAI系の52回とChatGPT-Userの14回です。この2つは意味が違います。

• クローラー型（GPTBot、ClaudeBot、PerplexityBot など）— サイトを巡回して情報を集めるもの。人間の操作とは無関係に動きます
• ユーザー起点型（ChatGPT-User など）— 誰かがAIに質問した結果、その場でページを取りに来るもの。背後に人間がいるアクセスです

後者は、実質的に「AIを使っている人が自分のページに関心を持った瞬間」を意味します。数は少なくても、こちらのほうが手応えのある数字です。集計するときはこの2つを混ぜないほうがいいと考えています。

さらにややこしいことに、AIが内蔵ブラウザでページを開く経路もあります。この場合はブラウザに近いUAで到達するため、素朴なパターン照合では見落とします。実際、当初は「ブラウザ経由は判別できない」と考えていましたが、UAの中に製品名が残っていて識別できるケースがあると分かり、分類を追加しました。分類は一度作って終わりではなく、実際のログを見て育てるものだと考えたほうがよさそうです。

落とし穴：ユーザーエージェントは自己申告

ここまで「Anthropicが87回」などと書いてきましたが、正確には「Anthropicだと名乗ったアクセスが87回」です。UAは送信側が自由に設定できる文字列で、詐称ができます。

これを検証可能にするための仕組みとして、リクエストに電子署名を付けて身元を証明する枠組み（Web Bot Auth）が動いています。当サイトでも署名の有無を記録していますが、実際に署名付きで到達したのは、期間中にdomainsbot.comの2件のみでした。それ以外は署名を伴っていません。

同じ事業者でも、経路によって署名が付いたり付かなかったりする例も確認しています。つまり署名の普及はまだ途上で、現時点のUA集計は「正確な事実」ではなく「傾向を掴むための概算」として扱うのが妥当です。

自分のサイトで確かめる手順

特別な環境がなくても、以下の順で確認できます。

1. robots.txtを確認する — まず自分がAIクローラーを許可しているかを見ます。意図せずDisallowしていないか、AI関連のUA名で拒否していないかを確認します
2. アクセスログでUAを絞り込む — 生のログが見られるなら、GPTBot / ClaudeBot / PerplexityBot / ChatGPT-User / Google-Extended といった文字列で検索します。件数を数えるだけで十分です
3. クローラー型とユーザー起点型を分ける — 前述のとおり意味が違うので、集計を分けます
4. 同じ時期の引用状況も調べる — 自社に関係する質問をいくつか固定して、AIに聞いて出典に出てくるかを見ます。クロール数と引用数を並べて初めて、どちらが問題かが分かります
5. 毎週同じ条件で繰り返す — 1回では傾向が分かりません。質問文も条件も変えずに続けることが前提です

4のやり方については、当サイトでも毎週20問を固定して記録しています。手順と結果は別の記事で継続的に公開していく予定です。

よくある質問

Q. 公開したばかりのサイトにも、AIのクローラーは来ますか？

来ます。当サイトの実測では、公開の翌日から複数のAI事業者のクローラーが到達していました。2サイト合計・3日間で、Anthropic系87回、Googlebot 61回、OpenAI系52回、Google-Other 51回、Meta系42回、Bingbot 37回、ChatGPT-User 14回、PerplexityBot 7回です。ただしクロールされることと引用されることは別で、同じ期間の引用は20問中0件でした。

Q. AIに引用されないのは、クロールされていないからですか？

少なくとも当サイトの場合は違いました。3日間で300回以上のクローラー到達がありながら、引用は0件です。読まれていないのではなく、読まれたうえで出典に選ばれていない状態でした。原因をクロール不足だと仮定して対策すると方向を誤ります。まず自分のログで切り分けてから、内容の改善に進んでください。

Q. ユーザーエージェント名だけでAIのクローラーを判別できますか？

確実には判別できません。UAは送信側が自由に名乗れる自己申告の文字列で、詐称が可能だからです。検証可能にする仕組みとしてWeb Bot Authという署名の枠組みがありますが、普及は途上です。当サイトの記録で実際に署名付きだったのはdomainsbot.comの2件のみで、他は署名を伴っていませんでした。現時点のUA集計は、正確な事実ではなく傾向を掴むための概算として扱うのが妥当です。

まとめ

数えてみて分かったのは、公開直後の小さなサイトにもAIクローラーは来るということ、そして来ていることと引用されることはまったく別だということでした。当サイトは3日間で300回以上到達されながら、引用は0件です。

この2つを切り分けないまま「AI対策」を始めると、すでに満たしている条件を磨き続けることになりかねません。まずは自分のログを1回数えてみることをおすすめします。件数を数えるだけなら、30分もかかりません。

そして数えるときは、その数字が自己申告に基づく概算であることを忘れないでおきたいところです。署名による検証が広まるまでは、どの集計にもこの限界がついて回ります。