شرح كامل حول ملف Robots.txt

[abdo.chenwi]

شرح كامل حول ملف Robots.txt
أعوذ بالله من الشيطان الرجيم
بسم الله الرحمن الرحيم
أعضاء وزوار منتدى أمواج البحر الكرام​
إن الفهم الجيد لملف Robots.txt سيمكنك من قطع شوط طويل في تهيئة موقعك لمحركات البحث. في هذا الدليل سنتعرف على ما هو Robots.txt شرح استخدامه في ووردبريس بالشكل الصحيح.
بشكل عام يتم إنشاء robots.txt من أجل برامج الروبوتات لمواقع مثل محرك البحث Google (ومحركات البحث الأخرى), وهي عبارة عن برامج تتبع تقوم بالزحف إلى ملفات ومجلدات معينة في موقعك وفهرستها في نتائج محركات البحث. ومن خلال robots.txt يمكن لمالكي المواقع من منع أو السماح للعناكب من الوصول والزحف إلى صفحات أو محتوى معين واكتشافها أو فهرستها.


ما هو ملف Robots.txt؟​
عادةً ما يبدو محتوى robots.txt كما يلي:

كود PHP:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php 


هناك 3 أوامر ستلاحظ تواجدهم في ملف robots.txt :

User-agent أو وكلاء المستخدم: هذا يتيح لك استهداف بوتات محددة. User-agent هو ما تستخدمه البوتات للتعريف عن نفسها. يمكنك على سبيل المثال من إنشاء قاعدة تنطبق على Google، ولكن لا تنطبق على محرك البحث Bing لمنع الزحف أو السماح للزحف لموقعك.
Disallow : يتيح لك أن تخبر الروبوتات بعدم الوصول إلى مجلدات معينة من موقعك.
Allow : يستخدم هذا الأمر في بعض الحالات. بشكل افتراضي يتم وضع علامة “Allow أو السماح” على كل مجلدات وملفات موقعك، لذلك ليس من الضروري استخدام الأمر “Allow” في ملف robots.txt. لكنه مفيد عندما لا نريد السماح بالوصول إلى مجلد ومجلداته الفرعية ولكن السماح بالوصول إلى مجلد تابع ومحدد.
كل يوم يتم نشر الآلاف من المواقع الجديدة على الإنترنت. لتسهيل البحث عن هذه المواقع على ويب، تقوم محرك البحث Google ومحركات البحث الأخرى بفهرسة كل مواقع الويب. ونظراً لكمية العمل الهائلة، تعتمد محركات البحث على روبوتات البحث الخاصة بها لإنجاز المهمة بسرعة.

عند وصول روبوت محركات البحث البحث لموقعك، فإنه سيقوم بدراسة أولا موقعك وإكتشاف خريطة الموقع (sitemap XML) لمعرفة جميع الصفحات الواردة فيه. وبعد ذلك، يتابع البوت تتبع الارتباطات وفهرسة موقعك، ليس فقط صفحات موقعك، بل وأيضاً محتواه، بما في ذلك مجلدات JS وCSS. إذا كان موقعك يستخدم منصة الووردبريس ، فإن البوتات ستزحف أيضًا إلى مجلد wp-admin. ومن المؤكد أنك لا تريد أن يتم فهرسة هذا المجلد ، والطريقة الوحيدة لإيقافها هي عن طريق توجيهها بعدم القيام بذلك في ملف robots.txt عن طريق أمر Disallow.


ماهي أهمية robots.txt؟​
على الرغم من أن إنشاء ملف robots.txt ليس إلزاميًا, لاكن رغم ذلك ستواصل روبوتات البحث الزحف إلى موقعك سواء توفر لديك هذا الملف أم لا, لذا فإنشائك لملف robots.txt سيعود بكثير من النفع على موقعك.

في إرشادات مشرفي المواقع من Google ، ينصحون مشرفي المواقع بعدم استخدام ملف robots.txt لإخفاء المحتوى ذو الجودة المنخفض. وبالتالي قد لا يكون من الحكمة استخدام ملف robots.txt الخاص بك لإيقاف Google من فهرسة الفئة والتاريخ وصفحات الأرشيف الأخرى. تذكر أن الغرض من ملف robots.txt هو توجيه برامج الروبوت إلى ما يجب فعله بالمحتوى الذي يزحف إليه على موقعك ولا بمنعهم من الزحف إلى موقعك نهائيا.

أيضًا، لا تحتاج إلى إضافة صفحة تسجيل الدخول إلى مدونتك أو صفحة التسجيل عضو جديد إلى robots.txt لأن صفحتا تسجيل الدخول وتسجيل حساب جديد تمت إضافة علامة noindex تلقائيًا بواسطة منصة الووردبريس.

ومع ذلك ، أوصيك بمنع الوصول لملف readme.html من خلال robots.txt عن طريف إضافة أمر Disallow بغية عدم السماح للبوتات بإكتشافه. يمكن استخدام هذا الملف التمهيدي من قبل الأشخاص الذين يحاولون معرفة إصدار منصة الووردبريس التي تستخدمها، فيمكن الوصول بسهولة إلى الملف بمجرد تصفحه. بالإضافة إلى ذلك ، يمكن أن يؤدي وضع علامة عدم السماح إلى حظر الهجمات الضارة.


أين يتواجد ملف robots.txt؟​
بشكل افتراضي، يتم إنشاء ملف robots.txt وتخزينه في ملفات الجذر لموقعك وفي الأغلب داخل في مجلد Public_html. ولعرضه، قم بنسخ رابط موقعك وقم بلصقك في شريط الرابط من على المتصفح، ثم قم بإضافة “robots.txt” في نهاية رابط موقعك. على سبيل المثال: https://example.com/robots.txt

إليك كيف يبدو ملف robots.txt في موقع أمواج البحر:

تابع قراءة الموضوع لمشاهدة الشرح المصور من هنا

المصدر : شرح كامل حول ملف Robots.txt {طريقة تركيب ملف روبوت}