بعد أن تعرفنا سابقا على ملف sitemap.xml, سنتعرف اليوم على ملف robots.txt ودوره في تحسين محركات البحث سيو وأهميته, بالإضافة الى كيفية انشاء ملف robots.txt. سأحاول تبسيط الفكرة لك قدر الإمكان, وسوف أشارك معك كل المعلومات التي أعرفها.
ما هو ملف robots.txt
robots.txt هو ملف يخبر محركات البحث بعدم التعرّف على صفحات أو أقسام معينة من الموقع الالكتروني, وبالتالي عدم أرشفة هذه الصفحات وعدم ظهورها في البحث. (سأخبرك لاحقا لماذا قد تحتاج الى عدم أرشفة صفحة/صفحات محددة).
تتعرف معظم محركات البحث الرئيسية (بما في ذلك Google و Bing) على الأوامر الموجودة داخل هذا الملف وتعمل وفقا لها.
لماذا يعتبر ملف robots.txt مهما ودوره في السيو؟
في الواقع, لا تحتاج معظم المواقع إلى ملف robots.txt. ذلك لأن محرك بحث Google أو Bing يمكنهما عادةً العثور على جميع الصفحات المهمة على موقعك وأرشفتها. ولن يقوموا بأرشفة الصفحات غير المهمة أو المكررة.
ومع ذلك, هناك عدة أسباب تدفعك لاستخدام ملف robots.txt منها:
1. حظر الصفحات غير العامة: في بعض الأحيان قد يكون لديك صفحات على موقعك ولا تريد أرشفتها. (مصطلح أرشفة الصفحات أو المقالات يعني ظهورها في محركات البحث).
على سبيل المثال, قد يكون لديك إصدار مرحلي أو تجريبي من الصفحة, أو صفحة تسجيل الدخول الى ووردبرس. يجب أن تكون هذه الصفحات موجودة, لكنك لا تريد أن يدخل عليها أشخاص عشوائيون, ولا يوجد هدف من أرشفتها و ظهورها.
هذه هي الحالة التي تستخدم فيها ملف robots.txt – لمنع روبوت محرك البحث من التعرف عليها وبالتالي عدم أرشفتها.
2. زيادة الكوتا المحددة لك للأرشفة إلى الحد الأقصى: إذا كنت تواجه صعوبة في أرشفة الصفحات بسرعة, فربما لديك مشكلة في الكوتا المحددة لك.
من خلال منع الصفحات غير المهمة من الأرشفة باستخدام ملف robots.txt, يمكنك تركيز الأرشفة على الصفحات المهمة فقط وعدم استهلاك الكوتا (العدد المحدد لك يوميا أو اسبوعيا).
إقرأ ايضا: ما هو السيو وكيفية تصدر نتائج البحث جوجل
إنشاء ملف robots.txt
خطوتك الأولى هي إنشاء ملف robots.txt خاص بموقعك.
كونه ملفا نصيا, يمكنك إنشاء ملف robots.txt باستخدام مفكرة ويندوز “Notepad”, أو من خلال بعض الأدوات التي توفرها مواقع تحسين محركات البحث, مثل أداة Robots.txt Generator من موقع AI SEO Analyzer.
بغض النظر عن طريقة إنشاء ملف robots.txt الخاص بموقعك, فإن التنسيق ومحتوى الملف هو نفسه تماما ويتألف من سطرين أساسيين:
1. User-agent: *
2. Disallow: (إسم الصفحة التي تريد إستثنائها من الأرشفة)
كيفية إنشاء ملف robots.txt
من داخل الكمبيوتر, أنقر بزر الماوس الأيمن, ثم اختر “New Text Document”, أو إبحث عن المفكرة “Notepad”, وقم بإنشاء ملف جديد.
في السطر الأول قم بكتابة:
User-agent: *
في السطر الثاني, قم بإضافة اسم الصفحة أو المقال أو التصنيف او الوسم, الخ, التي لا تريد أرشفتها بعد كلمة :Disallow, مثال:
Disallow: /wp-admin/
عندما قمت بإضافة /Disallow: /wp-admin فأنا أقول لمحركات البحث أن لا تقوم بأرشفة الصفحة الخاصة بتسجيل الدخول الى ووردبرس.
هذا هو رابط الصفحة التي لا أريد أرشفتها: /https://moaliofficial.com/wp-admin
الصفحة موجودة فعلا ويمكنك الدخول اليها, وهي الصفحة المخصصة بتسجيل الدخول الى نظام إدارة المحتوى ووردبرس, ولكنني لا أريد أرشفتها حتى لا تظهر في نتائج البحث.
أخيرا قم بحفظ الملف بإسم robots فقط. بما أنه ملف نصي, ستكون صيغته txt. بشكل إفتراضي.
يحتوي هذا الدليل المفيد من Google على مزيد من المعلومات حول القواعد والأوامر المختلفة التي يمكنك استخدامها وإضافتها للملف.
رفع ملف robots.txt على الموقع الالكتروني
بمجرد حفظ الملف على جهاز الكمبيوتر, الخطوة التالية هي أن تجعله متاحا لمحركات البحث من خلال رفع الملف على موقعك الالكتروني.
لا توجد طريقة واحدة يمكنها مساعدتك في ذلك, لأن طريقة رفع ملف robots.txt إلى موقعك تعتمد على خدمة استضافة المواقع التي تستخدمها.
تواصل مع شركة الاستضافة الخاصة بك سواء كانت Bluehost أو Namecheap أو أي شركة استضافة أخرى, أو ابحث في صفحة الأسئلة والأجوبة.
بجميع الأحوال وبشكل عام, يمكنك رفع الملف من داخل ال cPanel الخاصة بموقعك. كل إستضافة موثوقة تحتوي على cPanel. عند شراء الاستضافة سيتم إرسال لك معلومات وطريقة الدخول. كذلك, بمجرد تسجيل الدخول الى حسابك في موقع الاستضافة يمكنك الدخول من هناك الى cPanel.
cPanel هي المكان الذي يمكن من خلاله التحكم بكل الأمور التقنية الخاصة بالموقع مثل رفع الملفات, إنشاء بريد الكتروني, عمل نسخة احتياطية للموقع, إنشاء قاعدة البيانات والمزيد.
بعد الدخول الى cPanel, إبحث عن File Manager وارفع الملف داخل المجلد الرئيسي (راجع الصورة أعلاه).
اختبر ملف robots.txt
بعد رفع ملف robots.txt, اختبر ما إذا كان يمكن الوصول إليه, وإذا كان بإمكان محرك البحث تحليله.
لاختبار ما إذا كان الملف الذي تم رفعه وإضافته الى الموقع يمكن الوصول إليه, أضف robots.txt الى رابط الموقع الاساسي. مثال https://moaliofficial.com/robots.txt. جرّب نفس الأمر على موقع جوجل أيضا أو أي موقع اخر.
إذا كان بإمكانك الدخول الى الرابط ورأيت محتويات الملف, فيمكنك الان اختباره بشكل معمّق أكثر.
من المهم حقا أن يتم إعداد الملف بشكل صحيح. خطأ واحد ويمكن إلغاء فهرسة موقعك بالكامل.
لحسن الحظ, تمتلك Google أداة robots.txt Tester التي يمكنك استخدامها مجانا لإستكشاف الأخطاء وما الى ذلك.
يمكنك أيضا إدخال رابط صفحة محددة أو رابط مقال للتأكد مما إذا كان محظور عن الأرشفة أم لا.
كما ترى في الصورة أعلاه, فإننا نمنع محرك البحث من فهرسة صفحة تسجيل الدخول الى ووردبرس الخاصة بنا من خلال هذه الجملة:
Disallow: /wp-admin/
لو أدخلنا رابط صفحة تسجيل الدخول الى ووردبرس هذا: /https://moaliofficial.com/wp-admin في المكان المحدد داخل أداة robots.txt Tester, سوف يظهر أن الصفحة ممنوعة من الأرشفة.
الفرق بين ملف robots.txt و sitemap.xml
الفرق شاسع جدا ولا يوجد أي إرتباط بين الملفين.
الهدف من انشاء ملف robots.txt واضافته للموقع هو منع أرشفة بعض الصفحات أو المقالات أو الوسوم الخ لأسباب محددة تحدثنا عنها سابقا.
بينما الهدف من انشاء ملف sitemap.xml “خريطة موقع” هو تعريف محركات البحث على محتوى وأقسام الموقع الخاص بك لتسهيل وتسريع أرشفتها.
ليس أمرا ضروريا أن يكون لديك ملف خريطة موقع, ستتعرف محركات البحث على موقعك بجميع الأحوال, ولكن من الأفضل انشاء خريطة موقع خصوصا للمواقع الكبيرة جدا.
لا تتردد بطرح أي سؤال أو استفسار في التعليقات أدناه.
