استخدام ملف robots.txt في الموقع هو طريقة للتحكم في وصول محركات البحث إلى محتوى الموقع. فيما يلي الخطوات التفصيلية والملاحظات حول كيفية استخدام robots.txt في الموقع:

1. إنشاء ملف robots.txt

1. استخدام محرر النصوص: افتح محرر نصوص (مثل Notepad++ أو Sublime Text أو المفكرة البسيطة)، واستعد لكتابة محتوى ملف robots.txt.

2. كتابة القواعد: بناءً على احتياجات الموقع، اكتب القواعد المناسبة. عادةً ما تتضمن هذه القواعد تحديد محركات البحث (User-agent)، والسماح (Allow) أو منع (Disallow) الوصول إلى مسارات URL محددة.

3. حفظ الملف: احفظ الملف باسم robots.txt، وتأكد من أن امتداد الملف هو .txt، وأن اسم الملف مكتوب بأحرف صغيرة. أيضًا، تأكد من أن ترميز الملف هو UTF-8 لتجنب ظهور أحرف مشوهة على خوادم أو متصفحات مختلفة.

2. وضع ملف robots.txt

1. رفعه إلى الدليل الجذري للموقع: استخدم برنامج FTP أو لوحة تحكم الموقع لرفع ملف robots.txt إلى الدليل الجذري للموقع. على سبيل المثال، إذا كان اسم نطاقك هو www.example.com، فيجب أن يكون ملف robots.txt متاحًا على http://www.example.com/robots.txt.

2. بعد نشر الموقع، سيقوم النظام تلقائيًا بإنشاء ملف robots. عنوان robots هو: النطاق/robots.txt;

   إذا كنت بحاجة إلى تخصيص ملف robots، يمكنك تعديله في لوحة تحكم نظام إدارة المحتوى (CMS) - إدارة SEO - ملف robots. إذا قمت بالتخصيص وأردت العودة إلى ملف robots الافتراضي للنظام، يمكنك النقر على زر التهيئة على الجانب الأيمن لاستعادة محتوى ملف robots الافتراضي للنظام. بعد التعديل، احفظ ونشر التغييرات.

        إذا كنت لا تريد أن يتم فهرسة صفحة معينة في الموقع، على سبيل المثال إذا كان رابط الصفحة هو https://www.abc.com/fuwutiaokuan.html، وكنت لا تريد فهرسة هذه الصفحة، يمكنك إضافة الجزء بعد النطاق/ إلى محتوى ملف robots، كما في الصورة التالية:

3. كتابة قواعد robots.txt

يتكون محتوى ملف robots.txt بشكل أساسي من سلسلة من وكلاء المستخدم (User-agent) والأوامر (مثل Disallow و Allow). فيما يلي بعض القواعد الأساسية والأمثلة:

1. User-agent: تحدد القواعد التي تنطبق على أي زاحف لمحرك البحث. على سبيل المثال، User-agent: * تعني أن القواعد تنطبق على جميع الزواحف؛ بينما User-agent: Googlebot تعني أن القواعد تنطبق فقط على زاحف Google.

2. Disallow: تحدد مسارات URL التي لا تريد الوصول إليها. على سبيل المثال، Disallow: /admin/ تعني منع الوصول إلى الدليل /admin/ وملفاته الفرعية ضمن الدليل الجذري للموقع.

3. Allow (اختياري): على عكس Disallow، تحدد مسارات URL المسموح بالوصول إليها. تجدر الإشارة إلى أن ليس جميع محركات البحث تدعم أمر Allow، وعند استخدامه عادةً ما يتم دمجه مع أمر Disallow لتوفير تحكم أكثر دقة.

4. مثال

في هذا المثال:

• تم منع جميع الزواحف من الوصول إلى الدلائل /admin/ و /cgi-bin/.

• تم السماح لـ Googlebot بالوصول إلى الدليل /special-content/، ولكن تم منعه من الوصول إلى باقي أجزاء الموقع (ملاحظة: هنا Disallow: / بعد Allow سيتجاوز أمر Allow السابق ما لم يدعم محرك البحث أمر Allow ويعالج هذه الحالة بشكل صحيح). ومع ذلك، هذا مجرد مثال، وقد تحتاج إلى تعديله في الواقع لتجنب مثل هذه التعارضات.

• تم توفير عنوان خريطة الموقع (Sitemap) عبر أمر Sitemap لمساعدة محركات البحث على فهم هيكل الموقع بشكل أفضل.

5. ملاحظات مهمة

1. تأكد من صحة اسم الملف وموقعه: يجب أن يكون ملف robots.txt موجودًا في الدليل الجذري للموقع، ويجب أن يكون اسم الملف مكتوبًا بأحرف صغيرة بالكامل.

2. كن حذرًا عند كتابة القواعد: قد تؤدي القواعد الخاطئة إلى تجاهل محركات البحث لصفحات مهمة أو حذفها، مما يؤثر على نتائج تحسين محركات البحث (SEO) للموقع.

3. قم بفحص وتحديث الملف بانتظام: مع تحديثات وتغييرات محتوى الموقع، قد تحتاج إلى فحص وتحديث ملف robots.txt بانتظام للتأكد من أنه لا يزال يلبي احتياجات الموقع.

4. افهم دعم محركات البحث: قد تختلف درجة دعم محركات البحث لملف robots.txt، لذا يجب مراعاة ذلك عند كتابة القواعد.

5. استخدم أدوات الفحص: يمكنك استخدام أدوات فحص متعددة عبر الإنترنت للتحقق من صحة بناء جملة ومنطق ملف robots.txt، وذلك لضمان فهم محركات البحث لهذه القواعد وتطبيقها بشكل صحيح.

إذا كان لديك أي استفسارات حول بناء أو تشغيل موقع التجارة الخارجية، يسرنا استقبال استفساراتك عبر WeChat للدعم الفني في EasyBao: Ieyingbao18661939702، وسيقوم فريق العمل بالإجابة على استفساراتك بكل إخلاص!

مصدر الصور من الإنترنت، إذا كان هناك أي انتهاك للحقوق، يرجى الاتصال بـ 400-655-2477.