robots.txt と noindex の設定ミスは、優良なページが Google に正常にクロールおよびインデックスされない原因になりがちです。本稿では、サイトの可視性、SEO パフォーマンス、問い合わせ転換に影響する重要な問題を迅速に切り分けるための、実用的なチェックリストを紹介します。

なぜページ内容に問題がなくても、Google にずっと見つからないのか？

多くの企業は、サイトに順位がつかない原因はコンテンツ品質か被リンク不足にあると考えがちです。実際には、よりよくある原因は技術レベルでのクロールとインデックス設定の誤りであり、Google がそもそも推奨したいページを見られていないことにあります。

海外向けサイト、ブランド独立サイト、そして多言語公式サイトで最もよく見られる2つの問題は、robots.txt の誤遮断と、ページへの noindex の誤追加です。前者はクロールに影響し、後者は直接インデックスに影響するため、どちらもトラフィックの継続的な低下を招く可能性があります。

商品ページ、事例ページ、ブログページが長期間インデックスされない、または新サイト公開後に順位が突然消えた場合、最初に行うべきことはコンテンツを追加し続けることではなく、検索エンジンが誤って門前払いされていないかを確認することです。

まず整理する：robots.txt と noindex はそれぞれ何を管理するのか？

robots.txt は検索エンジンのクローラー向けのアクセスルールファイルで、主な役割はどのディレクトリをクロールしてよいか、どのディレクトリをクロールしてはいけないかを知らせることです。これは「入れるかどうか」を制御するものであり、「必ずインデックスされるかどうか」ではありません。

noindex はページ単位またはレスポンスヘッダー単位の指示で、Google にそのページをインデックスに入れないよう伝えるためのものです。これは「検索結果に表示されるかどうか」を制御するもので、たとえページにアクセスできても、noindex によって表示されない可能性があります。

この2つは混同されやすく、時には互いに矛盾します。たとえば、ページが robots.txt でブロックされ、同時に noindex が設定されている場合、Google はページ自体を取得できない可能性があり、当然そのページのインデックス状態を正しく処理できず、確認時に誤判定しやすくなります。

robots.txt チェックリスト：まず重要ページを塞いでいないか確認する

第1項目は、robots.txt にサイト全体のブロックが存在するかを確認することです。たとえばテスト段階でよくある Disallow: / を公開後に削除し忘れると、サイト全体が Google に正常にクロールされない可能性があります。これは最も深刻で、かつ最もよくあるミスの1つです。

第2項目は、商品ディレクトリ、ブログディレクトリ、多言語ディレクトリ、またはランディングページのパスが誤ってブロックされていないかを確認することです。企業によってはバックエンド、スクリプト、パラメータページの制限のために設定したつもりでも、本来 SEO 価値の高いカラムまでまとめて遮断してしまい、インデックス規模に直接影響することがあります。

第3項目は、主サイトのみを許可し、英語サイト、ロシア語サイト、またはモバイルディレクトリを見落としていないかを確認することです。海外マーケティングを行う企業にとって、多言語サイトの構造は複雑であり、パスルールを一度でも誤ると、主要市場向けページの一部が長期間露出できなくなります。

第4項目は、robots.txt にアクセスできるか、フォーマットが正しいかを確認することです。ファイルの配置ミス、文字コードの異常、構文の記述ミスはいずれも、検索エンジンがルールを正確に読み取れない原因となり、クロール判定のずれにつながります。

noindex チェックリスト：インデックスすべきページを自分で消さない

まずページソースコード内の meta robots タグを確認し、noindex が存在するかどうかをチェックします。多くのサイトでは、テンプレート開発、移行テスト、プラグイン設定の段階でデフォルトで noindex が追加され、その後の公開時にクリーンアップされず、影響範囲がページ全体に及ぶことがあります。

次に、サーバー応答ヘッダーで X-Robots-Tag: noindex が返されていないかを確認します。見た目では異常が分からないページでも、サーバー、CDN、またはプログラムルールによってインデックス禁止指示がすでに配信されている場合があり、こうした問題はフロント側のタグよりも見えにくく、見落とされやすいです。

また、ページネーション、絞り込みページ、タグページ、イベントページも重点的に確認する必要があります。すべてのページをインデックスさせるべきではありませんが、コア商品ページ、地域ページ、記事詳細ページまで noindex にしてしまうと、サイトの自然流入の入口が直接弱まります。

CMS、サイト構築システム、または SEO プラグインを使っているサイトでは、管理画面の設定も項目ごとに確認する必要があります。時には「検索エンジンによる本サイトのインデックスを禁止する」といった項目にチェックが入っているだけで、サイト全体が長期間非表示状態になることがあります。

どのページを優先的に確認すべきか、問い合わせと転換に直結するものは？

サイトがリード獲得を担う場合は、まず商業価値の高いページを優先して確認してください。これには、コア商品ページ、サービスページ、業界ソリューションページ、事例ページ、そして高転換率のブログページが含まれます。これらのページが一度でもインデックスされないと、失うのはトラフィックだけでなく、潜在的な問い合わせでもあります。

第2の優先対象は、多言語ページと地域ページです。北米、ヨーロッパ、東南アジアなどの海外市場を展開する際、言語版ごとに異なるキーワードと顧客ニーズに対応しているため、インデックス異常はそのまま地域市場の自然露出機会に影響します。

第3のカテゴリは、広告ランディングページとブランド語の受け皿ページです。投放ページの一部は必ずしもインデックスが必要ではありませんが、ブランド語ページやコア着地ページが noindex や robots.txt の設定ミスで消えると、SEO と広告の連携効果に同時に影響します。

問題を発見した後、企業は軽重緩急をどう判断すべきか？

サイト全体の robots.txt ブロック、サイト全体の noindex、またはメインディレクトリの誤遮断であれば、これは高優先度の問題にあたるため、直ちに修正すべきです。なぜなら、影響するのはサイト全体のインデックス能力であり、1日遅れるだけで、その分1日の検索可視性を失う可能性があるからです。

一部の低価値ページだけが制限されている場合は、ページの目的と照らし合わせて判断する必要があります。たとえば管理画面のパス、カート、検索結果ページは通常インデックス不要ですが、コアカラム、商品詳細、コンテンツセンターページは必ずクロール可能かつインデックス可能にしておく必要があります。

修正後は、「コードを変えたかどうか」だけを見るのではなく、Search Console でクロール、検出済み未インデックス、除外済み、ページのインデックス状態が改善したかを確認することが重要です。本当に有効な判断基準は、ページが正常に露出し、クリックを獲得できるかどうかです。

技術チェックと成長目標を一緒に見ることで、SEO は初めて本当に機能する

企業管理者にとって、robots.txt と noindex は単なる技術的な細部ではなく、リード獲得効率に影響する基礎的なスイッチです。サイトがどれだけ美しくても、コンテンツがどれだけ多くても、検索エンジンに見つからなければ、投資を成果に変えるのは非常に難しくなります。

実行チームにとって最も実用的なのは、応急処置ではなく、公開前チェック、テンプレート審査、プラグイン設定確認、インデックス監視を固定フローにすることです。そうすることで、毎回の改版、移行、新規サイト構築のたびに同じミスを繰り返すのを防げます。

特に海外市場向け企業では、サイト構造がより複雑でページ種別も多いため、サイト構築、SEO 最適化、コンテンツ運営を一体化して連携し、クロールとインデックスのリスクを事前に回避して、すべての高価値ページが確実に見える状態を保つ必要があります。

まとめ：まず見えることを確保し、その後で順位を争う

Google 順位の前提は、コンテンツが公開されたことではなく、ページがまずクロールされ、理解され、インデックスされることです。robots.txt と noindex の設定が、サイトに検索結果へ入る資格があるかどうかを決定します。

サイトが長期間インデックスされない、トラフィックが異常に低下している、または改版と多言語公開を終えたばかりであれば、この記事のチェックリストに沿ってすぐに項目ごとに確認することをおすすめします。まず「見えない」問題を解決してこそ、SEO 最適化、コンテンツ成長、問い合わせ転換に本当の拡張基盤が生まれます。