كيف يساعد تشخيص SEO في اكتشاف أسباب عدم فهرسة صفحة الويب؟

قد يتأخر ظهور صفحة منتج أو صفحة متعددة اللغات في نتائج البحث بعد نشرها، مما يؤثر في الزيارات من البحث الطبيعي ويصعّب تقييم نتائج التحسينات اللاحقة. لا يبدأ تشخيص SEO بتغيير العنوان أو إعادة إرسال الرابط مرارًا، بل بالتأكد من اكتشاف الصفحة وإمكانية الزحف إليها والسماح بفهرستها، ومعرفة الصفحة الأساسية التي اختارها محرك البحث في النهاية.

ابدأ باختيار عنوان URL ممثل لصفحة لم تتم فهرستها، ثم تحقّق من حالتها باستخدام أداة فحص عناوين URL في Google Search Console، وافحص الزحف وتعليمات الفهرسة والمحتوى بناءً على النتائج. تختلف خطوات معالجة مشكلة صفحة واحدة عن مشكلة الموقع بأكمله: ففي الحالة الأولى، تكون الأولوية لإعدادات الصفحة ومحتواها؛ أما في الثانية، فيجب أيضًا فحص الخادم والقوالب والقواعد على مستوى الموقع.

تأكد أولًا من أن الصفحة غير مفهرسة بالفعل

أدخل عنوان URL كاملًا في أداة فحص عناوين URL، بما في ذلك البروتوكول والنطاق والمسار والشرطة المائلة في النهاية. عند مراجعة النتيجة، ميّز بين «غير مفهرس» و«مفهرس لكنه لا يظهر في نتائج البحث»: فقد لا تظهر الصفحات المفهرسة في الموضع المتوقع بسبب شدة المنافسة على عبارة البحث أو ضعف الصلة أو انخفاض ترتيبها.

تحقّق من عنوان URL الأساسي. إذا أظهرت الأداة أن محرك البحث اختار عنوان URL أساسيًا آخر، فقارن محتوى العنوانين وإعدادات canonical. عندما ينتج عن المعلمات أو التصنيفات أو رموز التتبع عناوين متعددة للمنتج نفسه، قد يحتفظ محرك البحث بعنوان واحد فقط؛ وعدم فهرسة عناوين URL المكررة التي تم دمجها بشكل منفصل لا يعني بالضرورة وجود عطل.

تعرض أداة فحص عناوين URL معلومات الفهرسة الحالية، بينما يعكس الاختبار المباشر إمكانية الوصول إلى الصفحة وقراءتها في الوقت الحالي. إذا لم تتطابق النتائج، فتحقّق أولًا من سريان التعديل عبر الاختبار المباشر، ثم انتظر الزحف اللاحق؛ فاجتياز الاختبار المباشر لا يعني أن الصفحة قد فُهرست بالفعل.

تتبّع الحالة: هل المشكلة في الاكتشاف أم الزحف أم الفهرسة؟

لم يُكتشف الصفحة بعد أو لم يتم الزحف إليها بعد

قد يستغرق محرك البحث وقتًا أطول لاكتشاف صفحة جديدة إذا كانت تفتقر إلى الروابط الداخلية أو مدفونة في مستويات متعددة من التنقل أو غير مدرجة في خريطة الموقع. تحقّق من إمكانية الوصول إلى الصفحة عبر رابط عادي من صفحة تصنيف ذات صلة أو قائمة منتجات أو صفحة أخرى فعّالة؛ وتأكد أيضًا من أن خريطة موقع XML تتضمن عناوين URL الأساسية المطلوب فهرستها، وأنها أُرسلت إلى Search Console.

تشير حالة «تم اكتشافه، ولكن لم تتم فهرسته بعد» عادةً إلى أن عنوان URL معروف، لكن لم يتم الزحف إليه بعد؛ ولا يمكن الجزم مباشرةً بأن المشكلة في المحتوى. تحقّق من استقرار الخادم ومن عدم وجود أعداد كبيرة من صفحات المعلمات منخفضة القيمة أو عناوين URL المكررة، لتجنب استهلاك موارد الزحف في صفحات غير مهمة. يساعد إرسال خريطة الموقع على اكتشاف عناوين URL، لكنه لا يضمن الزحف إليها أو فهرستها.

حظر الزحف أو وجود خلل في استجابة الخادم

ابدأ بمراجعة معلومات الزحف في أداة فحص عناوين URL، واختبر إمكانية وصول محرك البحث إلى الصفحة. قد تمنع قواعد robots.txt الزحف، أو يعيد الخادم خطأً، أو تتطلب الصفحة تسجيل الدخول، أو تحظر قواعد الأمان برامج الزحف؛ وكل ذلك قد يمنع محرك البحث من قراءة المحتوى. حدّد السبب بالاستناد إلى رمز الاستجابة وسجلات الخادم، ولا تفترض إمكانية وصول برنامج الزحف لمجرد أن الصفحة تفتح في المتصفح.

• 404 أو 410: تحقّق مما إذا كانت الصفحة قد حُذفت عن طريق الخطأ أو كُتب عنوانها بشكل غير صحيح؛ وإذا كانت هناك صفحة بديلة فعلًا، فيمكن إعداد إعادة توجيه بما يتناسب مع العلاقة بين الصفحتين.
• 5xx أو انتهاء المهلة: افحص حمل الخادم والشبكة وأخطاء التطبيق، ثم أعد الاختبار بعد استعادة استجابة مستقرة.
• خلل في إعادة التوجيه: تحقّق من وجود حلقات أو سلسلة تحويلات طويلة جدًا، أو مما إذا كانت الوجهة النهائية صفحة غير ذات صلة.

حظر الزحف في robots.txt يختلف عن noindex. فالأول يقيّد الزحف، لكنه لا يمنع بالضرورة ظهور عنوان URL في نتائج البحث؛ ولكي يتمكن محرك البحث من قراءة noindex، يجب عادةً السماح له بالزحف إلى الصفحة المعنية.

الصفحة قابلة للزحف، لكنها مستبعدة من الفهرس

تحقّق من وجود noindex في HTML الصفحة ورؤوس استجابة HTTP، وانتبه خصوصًا إلى القواعد الموروثة من قوالب إنشاء المواقع أو إعدادات بيئات الاختبار أو النشر الجماعي. بعد التأكد من أن الصفحة معدّة للفهرسة، أزل التعليمات ذات الصلة وأعد التحقق باستخدام الاختبار المباشر.

تحقّق أيضًا من وجهة canonical: هل تشير الصفحة المطلوب فهرستها عن طريق الخطأ إلى الصفحة الرئيسية أو نسخة بلغة أخرى أو صفحة منتج غير ذات صلة؟ canonical إشارة لتحديد النسخة الأساسية وليست توجيهًا إلزاميًا؛ ومن الأفضل أن تشير محتويات الصفحة وروابطها الداخلية وعمليات إعادة التوجيه وخريطة الموقع جميعًا إلى عنوان URL المراد فهرسته.

بعد التأكد من سلامة الزحف، تحقّق مما إذا كانت الصفحة تستحق فهرسة مستقلة

تشير حالة «تم الزحف إليه، ولكن لم تتم فهرسته بعد» إلى أن محرك البحث زار الصفحة، لكنه لم يضمّنها في الفهرس بعد؛ ولا تعني وجود عطل تقني واحد بعينه. ابدأ بالتحقق مما إذا كانت الصفحة تحتوي على نص قليل، أو تتطابق بدرجة كبيرة مع صفحات أخرى، أو يعتمد محتواها الرئيسي على نصوص برمجية لم تُعرض بشكل صحيح. استخدم أداة فحص عناوين URL لمراجعة نتيجة العرض، وتأكد من ظهور العنوان والنص والروابط المهمة بوضوح.

بالنسبة إلى صفحات المنتجات، فإن إضافة مواصفات المنتج المعني واستخداماته وشروط توافقه والأسئلة الشائعة المرتبطة به توفر قيمة أكبر من نسخ وصف عام. يجب أن يتوافق المحتوى مع المعلومات المتاحة فعليًا على الصفحة؛ لا تكدّس عبارات مترادفة بهدف الفهرسة، ولا تنشر المحتوى نفسه مرارًا مع تغيير العنوان فقط.

في المواقع متعددة اللغات، يجب التمييز بين النسخ اللغوية والنسخ الإقليمية: ينبغي أن يكون لكل نسخة مطلوب فهرستها بشكل مستقل عنوان URL يمكن الوصول إليه ومحتوى باللغة المناسبة. تحقّق من أن hreflang يشير إلى النسخ الصحيحة وأن الإشارات متبادلة، لكن لا تتعامل معه باعتباره توجيهًا للفهرسة؛ فصحة تحديد اللغة لا تغني عن محتوى فعّال وزحف سليم.

كيفية التحقق بعد التعديل ومتى يجب توسيع نطاق الفحص

بعد إجراء التعديلات، شغّل أولًا اختبارًا مباشرًا لعنوان URL المحدد للتأكد من أن الاستجابة وتعليمات الفهرسة والمحتوى المعروض مطابقة للتوقعات، ثم اطلب الفهرسة بالطريقة التي توفرها الأداة. عند وجود مشكلة جماعية، أصلح القالب أو القواعد أولًا، وافحص عينة من صفحات الأنواع المختلفة، ثم استخدم وظيفة التحقق في تقرير مشكلات التغطية؛ إن تكرار إرسال عنوان URL نفسه لا يعوّض عن إصلاح المشكلة ولا يضمن تسريع الفهرسة.

احتفظ بعناوين URL المتأثرة والحالة الأصلية ووقت التعديل ونتائج إعادة الاختبار، ثم راقب التقرير وحالة الفهرسة الفعلية. يستغرق تحديث الفهرس وقتًا، وقد تتأخر تقارير الأدوات أيضًا. إذا ظهرت في عدة أدلة إخفاقات في الزحف أو اختيرت عناوين URL أساسية غير متوقعة أو عُيّنت صفحات على أنها noindex عن طريق الخطأ، فابدأ بفحص القوالب المشتركة وإعدادات الخادم وإجراءات النشر؛ إذ لا يمكن لإصلاح صفحة واحدة معالجة خطأ على مستوى الموقع.