ماهو ملف robots.txt وما وظيفته؟
ملف robots.txt هو ملف يقوم ب (السماح / منع) روبوتات وعناكب البحث للوصول لصفحات ومواضيع موقعك أو مدونتك التي سيتم ارشفتها ، ويبعدهم ايضاً عن الصفحات غير المهمة والتي لايجب علي عناكب البحث ارشفتها واظهارها علي محركات البحث مثل صفحات التصنيفات وتقسيمات الموقع الإلكتروني أو المدونة .
وبالتالي عند الوصول الى أفضل اعدادات لملف الروبوت الخاص بموقعك أو مدونتك سيزيد من فرصة ظهورها في محركات البحث بشكل أفضل وبالتالي ستتضاععف الأرباح التي يمكن الحصول عليها نتيجة لزيادة عدد الزيارات من خلال النقر على نتائج البحث التي قد تظهر مدونتك أو موقعك من خلال نتائج البحث.
الطريقة الصحيحة لإعداد ملف robots.txt مخصص للموقع أو لمدونة بلوجر
من المعروف بطبيعة الحال أن منصة بلوجر بالأساس موجودة ضمن خوادم غوغل ، ولا حاجة لتعديل ملف الروبوت robots.txt في مدونات بلوجر . إذ أن القيمة الإفتراضية لملف الروبوت robots.txt الخاص بمدونة بلوجر مخصص ليسمح بارشفة كل الصفحات والمقالات الموجودة في المدونة عدا الصفحات الخاصة بالتسميات والتصنيفات ضمن المدونة .
أما بالنسبة للمواقع الإلكترونية التي تعمل على منصات أخرى مثل ووردبرس فقد تحتاج لبعض التعديلات على ملف الروبوت robots.txt لكي نتأكد من الوصول التام ززحف محركات البحث وأرشفة المواضيع والصفحات لتكون مؤهلة للظهور في محركات البحث ، وعندها يجب التأكد من أن ملف الروبوت الخاص بموقعنا الإلكتروني robots.txt مخصص بشكل جيد ليسمح لمحركات وعناكب البحث من الوصول وأرشفة المقالات والصفحات .
ويمكن التعرف على القيمة الإفتراضية لملف الروبوت robots.txt لأي موقع ويب من خلال نسخ الرابط التالي وتغيير الدومين الموجود باللون الأحمر بدومين موقعك :
ويمكن التعرف على القيمة الإفتراضية لملف الروبوت robots.txt لأي موقع ويب من خلال نسخ الرابط التالي وتغيير الدومين الموجود باللون الأحمر بدومين موقعك :
https://www.yourdomain.exmple/robots.txt
أفضل ملف روبوت robots.txt مخصص لمدونات بلوجر
كما ذكرنا سابقاً أن الإعدادات الإفتراضية لمدونات بلوجر كافية لمساعدة محركات البحث على ارشفة كل محتوى موقعك بالإضافة الى ربط الموقع في موقع google search console واضافة ملف sitemap.xml الخاص بموقعك الإلكتروني .
ولكن في حال رغبتك بتخصيص ملف الروبوت robots.txt فإليكم أفضل ملف روبوت جاهز لمدونات بلوجر:
*:User-agent=Disallow: /search?updated-min=Disallow: /search?updated-max= Disallow: /search/label/*?updated-min=Disallow: /search/label/*?updated-max/:AllowSitemap: https://yourdomain.example/sitemap.xml
ويجب استبدال الدومين الموجود باللون الأحمر الى الدومين أو النطاق الخاص بمدونتك.
لاداعي لتحميل ملف robots.txt الجاهز ، بل يكفي القيام بنسخ الكود المضمن ف الأعلى واستبدال النطاق الموجود باللون الأحمر بالنطاق الخاص بمودونتكم على بلوجر .
كيفية تعديل وإعداد ملف الروبوت robots.txt في مدونات بلوجر
في الواجهة الجديدة لمنصة بلوجر يمكن الوصول الى اعدادات برامج الزحف والفهرسة من خلال الدخول الى تبويب الإعدادات ثم النزول قليلاً للأسفل لحين الوصول الى إعدادات برامج الزحف والفهرسة وفي هذا المكان نجد خيار تفعيل محتوى ملف robots.txt مخصص.
حيث يمكن تفعيل خيار تفعيل محتوى ملف robots.txt مخصص وكتابة الكود الموجود في الأعلى مع تعديل النطاق الملون باللون الأحمر للنطاق الخاص بكم.
ملاحظة: ان التغييرات التي تقوم بها بلا معرفة أو دراية في هذا المجال قد يؤدي الى عدم ظهور المدونة أو الموقع في محركات البحث وبالتالي يجب العودة للإعدادات الإفتراضية وعدم العبث بها بلا دراية.
ان أعجبكم الموضوع الرجاء مشاركته مع الأصدقاء من خلال خيارات المشاركة في الأسفل ، كما يمكنكم مشاركتنا تجاربكم من خلال التعليقات.