海外向けサイトのページがクロール済みなのにインデックスされない場合、SEOではどのように調査すればよいですか？

海外向けサイトのページに「クロール済み - インデックス未登録」と表示された場合は、まず検索エンジンが何をクロールしたのかを確認し、そのうえでページを残す価値があるか判断します。海外向けSEOのインデックス登録に関する問題は、クロール記録、インデックス登録の指示、重複ページ、コンテンツの価値、内部リンクの導線の順に確認します。URLを繰り返し送信しても、これらの確認の代わりにはなりません。また、リアルタイムテストに成功しても、ページがすでにインデックスに登録されたことを意味するわけではありません。

クロール日時を先に確認し、新しいページを古い結果で判断しない

検索リソース管理ツールのURL検査で、最終クロール日時、クロールのステータス、インデックス登録が許可されているか、検索エンジンが選択した正規URLを記録します。ページを修正したばかりで、レポートに表示されたクロール日時が修正日時より前であれば、現在のステータスでは修正の効果を評価できません。

また、「検出 - インデックス未登録」と「クロール済み - インデックス未登録」を区別します。前者はクロールがまだ完了しておらず、後者はクロール記録があるものの、インデックスには登録されていません。調査の重点はそれぞれ異なるため、どちらもクロール頻度不足が原因だと一括りにすることはできません。

検索結果にURLが表示されるかどうかだけで、インデックス登録の有無を判断しないでください。サイト内検索に限定した検索結果ではインデックスの状態を完全に把握できないため、URL検査の結果も確認してください。サーバーログでクロールの発生は確認できますが、ページがインデックスに登録されたことの証明にはなりません。

ページが表示されても、クロールされた内容が正常とは限らない

まず、対象URLの実際のレスポンスを確認します。正常な詳細ページは、有効な成功ステータスを返し、本文が完全に表示される必要があります。成功ステータスを返していても、「製品が見つかりません」と表示されたり、空のテンプレートやアクセス認証ページが表示されたりする場合は、インデックスの判断に影響します。リダイレクトされるページは、最終的な遷移先も確認してください。

インデックス登録の指示は、ページソース内のrobotsメタタグと、レスポンスヘッダーのX-Robots-Tagの2か所で確認します。いずれかに適用されるnoindexが設定されている場合は、テスト環境の設定が残っていないか確認してください。robots.txtはクロールを制御するもので、インデックスから確実に削除する手段ではありません。クロールを禁止すると、検索エンジンはページ上で新たに変更したインデックス登録の指示も読み取れません。

次に、クロールまたはレンダリング後のページを確認します。海外向けサイトでは、製品仕様がスクリプト経由のAPIから読み込まれるため、ブラウザーでは内容がすべて表示されている一方、クロール結果にはナビゲーションとフッターしか残らないことがあります。海外からのアクセスが地域制限、ファイアウォール認証、APIのタイムアウトに遭遇していないかも確認してください。ローカルのブラウザーだけで判断するより、クロール結果に含まれる本文を基準にするほうが有効です。

別のURLに統合されていないか確認する

ページがインデックス登録を許可され、本文も読み取れる場合は、次に正規URLを確認します。ページで指定されたcanonicalは手がかりになりますが、検索エンジンが別のURLを代表ページとして選ぶ場合もあります。両者が一致しない場合は、ページの内容とサイト内リンクのリンク先を比較してください。

海外向けサイトでは、パラメーター付きの商品ページ、カテゴリーパス配下の商品ページ、末尾のスラッシュがあるURLとないURLが同時に存在しやすくなります。これらのURLに同じ内容を掲載している場合は、正規のURLを決め、内部リンク、サイトマップ、canonicalタグを統一してください。独立したページとして残す必要のない重複URLには、適切な恒久的リダイレクトを設定できます。

多言語ページでは、設定ミスが特に起こりやすくなります。英語ページとドイツ語ページの両方が、正規URLとして英語のトップページを指定していると、各言語ページの個別のインデックス登録が妨げられる可能性があります。個別にインデックス登録する言語ページには、その言語に対応した有効な本文を用意し、正規URLと言語間の関連付けを適切に設定してください。言語間の関連付けタグは翻訳の代わりにはならず、インデックス登録を保証するものでもありません。

技術的な確認後、ページに独自の価値があるか判断する

同じシリーズの製品ページで型番と画像だけを差し替え、本文のほかの部分がまったく同じ場合、各ページが正常にクロールされても、一部のURLしかインデックスに登録されないことがあります。そのような状況で類似ページを増やし続けると、対処が必要な範囲が広がります。

製品ページでは、寸法範囲、材質の選択肢、使用条件、インターフェース要件、互換性の制限などを例に、該当モデルと近いモデルとの実際の違いを説明します。仕様は実際の資料に基づいて記載し、ページを長くするために性能を作り上げる必要はありません。複数の型番が同一製品の選択可能な仕様にすぎず、独立した検索需要もない場合は、ひとつの充実したページにまとめることを検討できます。

記事ページでは、タイトルに含まれる疑問に実際に答えているかを確認します。概念の説明、重複した段落、一般論に終始するアドバイスだけでは、ページ独自の用途を示しにくくなります。単に文字数を増やすよりも、判断条件、操作手順、異常時の兆候、対応できる範囲を補足するほうが価値があります。インデックス登録を保証する一律の文字数基準はありません。

また、ページの内容がサプライヤーの説明文を多く流用していないか、言語別ページがメニューだけを翻訳したものになっていないかも確認してください。タイトルに独自性があっても、本文が重複していれば、明確なコンテンツの差別化にはつながりません。

重要なページに安定したサイト内導線を設ける

サイトマップはURLの発見に役立ちますが、内部リンクの代わりにはなりません。商品ページにアクセスする方法がサイト内検索、フィルターボタン、URLの直接入力しかない場合、検索エンジンはサイト構造におけるページの位置を把握しにくくなります。

関連するカテゴリー、製品シリーズ、記事から、クロール可能な本文内リンクを設置し、リンクテキストにはリンク先の内容が分かる説明を付けます。ページネーションから後続の商品に移動できるかを確認し、クリック後に初めてリクエストされるAPIにすべての商品ページが依存しないようにしてください。重要な詳細ページは、明確なカテゴリーパスの中に配置します。

サイトマップには、インデックス登録を希望する正規URLだけを残し、リダイレクト先ではないURL、無効なページ、明示的にインデックス登録を禁止したページを削除します。更新日時は実質的な更新内容を反映させてください。更新のシグナルを作り出すために、毎日一括で日付を更新してはいけません。

修正後は、同じURL群で変化を確認する

まず、未登録ページから代表的なサンプルを選び、異なるテンプレートと言語バージョンを網羅します。同じテンプレートに問題が集中している場合は、テンプレートを優先して修正し、影響を受けるページを抽出して確認します。異常が少数のページに限られる場合は、それぞれのコンテンツとリンクを引き続き確認してください。

修正後に再テストし、インデックス登録の指示、レンダリングされた本文、正規URLが想定どおりであることを確認してから、重要なURLを送信します。修正内容と日時を記録し、新しいクロール記録が現れた後にインデックスの変化を観察してください。技術的な問題を解消しても未登録のままのページは、コンテンツの独自性とサイト内での価値を引き続き評価します。一定の待機日数はなく、送信すれば必ず登録されるという保証もありません。