ブログを Google 検索に表示させない

※文法や誤字のチェック/内容の正確性をAI (Astra / Opus 5)を用いて確認しています。

はじめに

このブログは備忘録を残し、記事を書く場所をホストするのが目的であり、インターネットにさらけ出すのが目的ではない。 というわけで、このブログをnoindexにして検索エンジンに表示させない方法をメモしておく。 2026/09/26 現在、Googleに対してはnoindexに成功しているが、Bingでは動作していないようだ。

TL;DR

クロールを許可したうえで、HTTP ヘッダー X-Robots-Tag に noindex を追加すればよい。 クロールを許可しない方法(robots.txt にすべてのパスをDisallow)では、一度クロールされてしまうと効果がない。また、この方法ではクロールされなくなるだけで、外部からリンクされていればURLがindex登録されることがある。

詳細

よく知られた方法として、robots.txtを配置し、クロールを不許可にする方法がある。

ただし、一度でもクロールされ、indexされてしまった場合、別の手立てを考える必要がある。なぜなら、indexさせたくない、という情報もまた、クローラーに伝える必要があるからだ。

一度クロールされた状態でクローラーに巡回を不許可にすると、indexさせないという情報をクローラーに伝えることができず、indexされた状態が続いてしまう。

よって、クロールを許可したうえで、indexさせたくないという情報をクローラーに伝える必要がある。 これを実現するには、noindex のメタタグを仕込んだうえで、クロールを許可しなければいけない。 (備考: HTTP ヘッダーの X-Robots-Tag: noindex と、HTML の <meta name="robots" content="noindex"> はどちらでもよい)

つまり消したい場合も一度クロールしてもらう必要がある。 クロールされるタイミングは予測不可能であり、試した限りではかなり遅い。急ぎの場合はSearch Consoleを使って再クロールをリクエストすればよい。ただし、リクエストしてもすぐにクロールされるとは限らない。