SEO診断でウェブページがインデックスされていない原因を特定するには？

製品ページや多言語ページを公開しても、検索結果になかなか表示されないと、自然検索からの流入に影響するだけでなく、その後の最適化の効果も判断しにくくなります。SEO診断で重要なのは、まずタイトルを変更したりリンクを何度も送信したりすることではありません。ページが発見されているか、クロールできるか、インデックス登録が許可されているか、そして検索エンジンが最終的にどのURLを正規URLとして選択したかを確認することです。

作業を始める際は、代表的な未インデックスURLを1つ選び、Google Search ConsoleのURL検査ツールでステータスを確認してから、表示内容に従ってクロール、インデックス登録の指示、コンテンツを確認します。個別ページの問題とサイト全体の問題では、対応の順序が異なります。前者はページ設定とコンテンツを優先して確認し、後者ではサーバー、テンプレート、サイト全体に適用されるルールも確認する必要があります。

まず、ページが本当にインデックス未登録か確認する

URL検査ツールに、プロトコル、ドメイン、パス、末尾のスラッシュを含む完全なURLを入力します。結果を見る際は、「インデックス未登録」と「インデックス登録済みだが検索で見つからない」を区別してください。インデックス登録済みのページでも、検索語句の競争が激しい、関連性が低い、または順位が低いなどの理由で、期待した位置に表示されないことがあります。

正規URLを確認します。ツールで検索エンジンが別のURLを正規URLとして選択している場合は、2つのURLのコンテンツとcanonical設定を比較します。パラメーター、カテゴリ、トラッキングコードによって同じ製品に複数のURLが生成されると、検索エンジンはそのうち1つだけを保持することがあります。重複URLが統合され、個別にインデックス登録されていなくても、必ずしも問題とは限りません。

URL検査では既存のインデックス情報が表示され、ライブテストでは現在ページにアクセスして読み取れるかが確認されます。両者の結果が一致しない場合は、まずライブテストで変更が反映されたか確認し、その後のクロールを待ちます。ライブテストに合格しても、ページがすでにインデックス登録されたことにはなりません。

ステータスを順に確認する：問題は発見、クロール、それともインデックス登録か

ページがまだ発見されていない、またはまだクロールされていない

新しいページへの内部リンクが少ない、階層の深いナビゲーションに埋もれている、またはサイトマップに含まれていない場合、検索エンジンによる発見に時間がかかることがあります。関連するカテゴリページ、製品一覧、その他の有効なページから、通常のリンクをたどってページにアクセスできるか確認します。また、インデックス登録が必要な正規URLがXMLサイトマップに含まれ、Search Consoleに送信されていることも確認してください。

「検出 - インデックス未登録」は、URLが認識されているものの、まだクロールされていないことを示す場合が多く、コンテンツの問題とすぐに断定することはできません。サーバーが安定しているか、大量の価値の低いパラメーター付きページや重複URLが存在しないかを確認し、検索エンジンのクロールリソースが重要でないページに費やされないようにします。サイトマップの送信はURLの発見に役立ちますが、クロールやインデックス登録を保証するものではありません。

クロールがブロックされている、またはサーバーの応答に問題がある

まず、URL検査のクロール情報を確認し、検索エンジンがページにアクセスできるかテストします。robots.txtによるクロールの禁止、サーバーエラー、ログインの要求、セキュリティルールによるクローラーのブロックなどにより、検索エンジンがコンテンツを読み取れないことがあります。応答ステータスとサーバーログを併せて原因を特定してください。ブラウザーで開けるという理由だけで、クローラーもアクセスできると判断しないでください。

• 404または410：ページが誤って削除されていないか、URLに誤りがないか確認します。実際に代替ページがある場合は、ページ間の関係に応じてリダイレクトを設定できます。
• 5xxまたはタイムアウト：サーバー負荷、ネットワーク、アプリケーションエラーを確認し、安定した応答に戻った後で再テストします。
• リダイレクトの異常：リダイレクトループや長すぎるリダイレクトチェーンがないか、最終的に関連性のないページへ転送されていないかを確認します。

robots.txtによるクロールの禁止とnoindexは同じではありません。前者はクロールを制限しますが、URLが検索結果に表示されるのを必ずしも防ぐものではありません。検索エンジンにnoindexを読み取らせるには、通常、該当ページのクロールを許可する必要があります。

ページはクロールできるが、インデックスから除外されている

ページのHTMLとHTTPレスポンスヘッダーにnoindexが含まれていないか確認します。特に、サイト構築テンプレート、テスト環境の設定、一括公開時に引き継がれたルールに注意してください。ページを公開してインデックス登録する必要があることを確認してから該当の指示を削除し、ライブテストで再確認します。

canonicalの指定先も確認します。インデックス登録するページが、誤ってホームページ、別の言語バージョン、または無関係な製品ページを指していないでしょうか。canonicalは正規化のためのヒントであり、強制的な指示ではありません。ページコンテンツ、内部リンク、リダイレクト、サイトマップが、いずれもインデックス登録を希望するURLを指すようにするのが望ましいです。

クロールに問題がなければ、ページを個別にインデックス登録する価値があるか確認する

「クロール済み - インデックス未登録」は、検索エンジンがページにアクセスしたものの、まだインデックスに登録していないことを示します。単一の技術的な問題があるという意味ではありません。まず、ページの文章量が少ない、他のページと内容が大きく重複している、または主要コンテンツがスクリプトに依存していて正しく表示されていない、といった点を確認します。URL検査ツールでレンダリング結果を確認し、タイトル、本文、重要なリンクが実際に表示されていることを確かめてください。

製品ページでは、一般的な紹介文をコピーするより、その製品に関連する仕様、用途、適合条件、よくある質問を補足するほうが、内容を評価するうえで有益です。コンテンツはページで実際に提供する情報と一致させてください。インデックス登録を目的に類義語をつなぎ合わせて一括掲載したり、同じ内容のタイトルだけを変えて繰り返し公開したりしないでください。

多言語サイトでは、言語別バージョンと地域別バージョンを区別する必要があります。個別にインデックス登録する各バージョンには、アクセス可能なURLと対応する言語のコンテンツが必要です。hreflangが正しいバージョンを相互に指定しているか確認してください。ただし、hreflangはインデックス登録の指示として扱わないでください。言語の指定が正しくても、有効なコンテンツや正常なクロールの代わりにはなりません。

変更後の確認方法と、調査範囲を広げるタイミング

変更後は、まず該当URLのライブテストを実行し、応答、インデックス登録の指示、レンダリングされたコンテンツが想定どおりであることを確認してから、ツールの案内に従ってインデックス登録をリクエストします。一括で発生している問題は、まずテンプレートやルールを修正し、異なる種類のページを抜き取り確認したうえで、インデックス登録の問題レポートにある検証機能を使用します。同じURLを繰り返し送信しても修正の代わりにはならず、インデックス登録が早まる保証もありません。

問題のURL、変更前のステータス、変更日時、再テストの結果を記録し、その後レポートと実際のインデックス状況を確認します。インデックスの更新には時間がかかり、ツールのレポートにも遅れが生じることがあります。複数のディレクトリで同時にクロールエラーが発生する、正規URLが異常に選択される、またはページに誤ってnoindexが設定される場合は、共通テンプレート、サーバー設定、公開プロセスを優先して確認してください。個別ページの修正では、サイト全体の問題は解決できません。