تحليل شامل لـ 'عنكبوت Baidu'

【مسرح أسئلة وأجوبة البحث】，يقدم لكم "عنكبوت Baidu" شرحًا شاملًا، لمساعدتكم على فهم دور "عنكبوت Baidu" في مختلف السيناريوهات، مما يشكل أساسًا لتشغيل الموقع بالكامل.

【مقالة الزحف】

1. ما هو Baiduspider؟

ج: يُعرف Baiduspider أيضًا باسم عنكبوت Baidu، وهو برنامج تلقائي لمحرك بحث Baidu، وظيفته زيارة صفحات الويب على الإنترنت، وإنشاء قاعدة بيانات فهرسية، مما يمكن المستخدمين من البحث عن محتوى متعلق بالموقع في محرك بحث Baidu.

2. س: كيف يمكن التعرف على أن الزحف الحالي هو عنكبوت Baidu الصحيح؟

ج: هناك طريقتان لتحديد عنكبوت Baidu.

الطريقة الأولى: التحقق من معلومات UA

إذا كانت معلومات UA غير صحيحة، فيمكن الحكم مباشرة على أنها ليست عنكبوت بحث Baidu. حالياً تنقسم UA إلى ثلاثة سيناريوهات تطبيق: الجوال، الكمبيوتر الشخصي، والتطبيقات الصغيرة، وهذه القنوات الثلاثة لـ UA هي كما يلي:

UA الجوال:

Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko)Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)

أو

Mozilla/5.0 (iPhone;CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko)Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0;+http://www.baidu.com/search/spider.html)

UA الكمبيوتر الشخصي:

Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)

أو

Mozilla/5.0 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

UA التطبيقات الصغيرة:

Mozilla/5.0 (iPhone;CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko)Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0;Smartapp; +http://www.baidu.com/search/spider.html)

الطريقة الثانية: التحقق ثنائي الاتجاه لحل DNS

الخطوة الأولى: البحث العكسي لـ DNS عن IP، يمكن للمطورين من خلال تشغيل بحث DNS عكسي على عناوين IP لخادم الوصول في السجلات، لتحديد ما إذا كان عنكبوت معين يأتي من محرك بحث Baidu، حيث يكون اسم المضيف لـ Baiduspider بتنسيق *.baidu.com أو *.baidu.jp، وأي شيء غير *.baidu.com أو *.baidu.jp يعتبر تزويرًا.

تختلف طرق التحقق حسب النظام الأساسي، مثل Linux/Windows/OS، حيث تكون طرق التحقق في هذه الأنظمة الثلاثة كما يلي:

① في نظام Linux، يمكن استخدام أمر host ip للبحث العكسي عن IP لتحديد ما إذا كان الزحف من Baiduspider. اسم المضيف لـ Baiduspider بتنسيق *.baidu.com أو *.baidu.jp، وأي شيء غير *.baidu.com أو *.baidu.jp يعتبر تزويرًا.

② في نظام Windows أو IBM OS/2، يمكن استخدام أمر nslookup ip للبحث العكسي عن IP لتحديد ما إذا كان الزحف من Baiduspider.

③ في نظام Mac OS، يمكن استخدام أمر dig للبحث العكسي عن IP لتحديد ما إذا كان الزحف من Baiduspider.

الخطوة الثانية: إجراء بحث DNS أمامي للنطاق. بعد العثور على النطاق من خلال الأوامر في الخطوة 1، قم بإجراء بحث DNS أمامي للنطاق، للتحقق مما إذا كان النطاق يتطابق مع عنوان IP الأصلي لخادم الوصول في سجلاتك، حيث يشير التطابق إلى أن العنكبوت يأتي من محرك بحث Baidu، بينما يشير عدم التطابق إلى تزوير.

لمزيد من التفاصيل، يمكن الرجوع إلى الوثيقة: 《خطوتان بسيطتان لمساعدتك على التعرف بسرعة على عنكبوت Baidu》

3. س: هل سيستمر عنكبوت Baidu في زحف موقعي؟

ج: بشكل عام، نعم، إذا كان الموقع ينتج موارد جديدة أو يقوم بتحديث المحتوى باستمرار، فسيستمر العنكبوت في الزحف. ومع ذلك، تجدر الإشارة إلى أنه يجب عدم فرض أي حظر إذا كنت ترغب في أن يقوم عنكبوت Baidu بزحف موقعك. (للحصول على معلومات ذات صلة حول الحظر، يرجى الرجوع إلى المحتوى أدناه)

بالإضافة إلى ذلك، يمكنك أيضًا التحقق من سجلات الوصول إلى الموقع، لتحديد عنكبوت Baidu الصحيح في الوقت المناسب، لمنع أي شخص من انتحال صفة عنكبوت Baidu لزحف موقعك بشكل متكرر.

4. س: يؤدي زحف عنكبوت Baidu المتكرر لموقعي إلى ضغط كبير على خادم الموقع، ما الحل؟

ج: إذا لاحظت أن عنكبوت Baidu يقوم بالزحف بشكل متكرر، فقد يكون ذلك بسبب:

① وجود موارد جديدة أو محتوى محدث في الموقع يحتاج إلى الزحف؛

② وجود انتحال لصفة عنكبوت Baidu، ويمكنك استخدام الطريقة المذكورة في السؤال 2 "كيفية التعرف على عنكبوت Baidu الصحيح" لاستكشاف المشكلة؛

إذا كان زحف عنكبوت Baidu متكررًا جدًا، مما يتسبب في حدوث شذوذ في خادم الموقع، فيمكنك استخدام أداة 【تعديل تردد الزحف】 في منصة موارد البحث لضبط التردد.

【مقالة الحظر】

1. س: لا أريد أن يقوم عنكبوت Baidu بزيارة بعض الموارد في موقعي، كيف يمكنني فعل ذلك؟

ج: يلتزم عنكبوت Baidu ببروتوكول robots للإنترنت. يمكن لمسؤول الموقع تحديث ملف robots.txt، حيث يحدد الملف بوضوح الموارد أو الدلائل التي لا يرغب في أن يزورها عنكبوت Baidu، ثم تقديم ملف robots من خلال أداة 【Robots】 في منصة موارد البحث.

ملاحظة: بعد تحديث وتقديم ملف robots، يحتاج محرك البحث إلى بعض الوقت لإكمال التحديث، لذلك لن يتوقف عنكبوت Baidu عن الزحف فورًا، يرجى الانتظار بصبر.

2. س: ما هي الآثار المترتبة على حظر عنكبوت Baidu من موقعي؟

ج: إذا كانت موارد الموقع جيدة ولا توجد مشكلات أخرى تتعلق بالانتهاكات، ولكن توجد الحالات التالية:

① عدم العثور على أي سجلات زحف لعنكبوت Baidu،

② عدم الحصول على أي فهرسة أو عرض في نتائج بحث Baidu،

③ انخفاض غير طبيعي في حركة المرور للموقع/الدليل،

④ ظهور عبارة "يوجد حظر بواسطة robots" في ملخص نتائج البحث.

إذا لاحظت أيًا من الحالات المذكورة أعلاه، فيمكنك أولاً التحقق مما إذا كانت هناك مشكلة تتعلق بحظر عنكبوت Baidu، ثم إزالة الحظر في الوقت المناسب (للحصول على معلومات حول إزالة الحظر، يرجى الرجوع إلى السؤال 7)، وانتظر الاستعادة.

3. س: كيف يمكن إزالة حظر عنكبوت Baidu؟

ج: تشمل إجراءات الحظر الشائعة حظر robots، وحظر UA الخاص بـ Baidu، وحظر IP الخاص بـ Baidu، ويمكنك استكشاف المشكلة وحلها واحدة تلو الأخرى:

(1) التحقق من ملف robots.txt، لمعرفة ما إذا كان هناك سجل حظر. (يتم وضع ملف robots.txt عادةً في الدليل الجذري للموقع.)

(2) إذا كان ملف robots طبيعيًا، فتحقق مما إذا كان هناك حظر لـ UA الخاص بـ Baidu؛

الحل الأول: تنفيذ curl --head --user-agent 'Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)' --request GET 'xxxxxxx'

ملاحظة: رمز الإرجاع الطبيعي هو 200، وأي حالة أخرى تعتبر شاذة.

الحل الثاني: تغيير متصفح UA للتحقق؛

(3) إذا كانت جميع عمليات التحقق المذكورة أعلاه طبيعية، فتحقق أخيرًا مما إذا كان هناك حظر على مستوى IP؛

تشمل حالات حظر IP الشائعة تكوين جدار الحماية الخاص بالموقع، حيث تحتاج إلى التحقق من لوحة تحكم نظام تكوين جدار الحماية، للتحقق مما إذا كانت هناك إجراءات حظر لعناوين IP الخاصة بعنكبوت Baidu.

لمزيد من التفاصيل، يمكن الرجوع إلى 《كيف يمكن للمطورين إزالة حظر عنكبوت Baidu》