خلال بحثي عن أهمية ملفات robots.txt في أرشفة المواقع لدى محركات البحث إنتبهت أن الووردبرس ليس لها ملف robots.txt حقيقي و هو خطير جدا من الناحية الأمنية
كود PHP:
: *User-agent
:Disallow
لأنه يفتح كل ملفات الوورد برس أمام عناكب البحث بما في ذلك مجلدات الأدمن و الأنكلود و طبعا الباب مفتوح أيضا للهاكر ليمرح كيف شاء , اذن ملف robots.txt هو ملف حماية أيضا و ليس ملف أرشفة فقط خاص بالعناكب فهو يمكن من الوصول إلى ملفات الجافا و css و غيره من ملفات الإضفات التي يمكن أن تتأرشف و يمكن أن تحتوي على ثغرات قد يعثر عليها أي مخترق مبتدئ ليدخل عليها خصوصا أن بعضها قابل للكتابة و التغيير بل و تلقي الأوامر و تنفيذها ,
لذا وجب علينا أن ننشئ ملف روبوت يقدم للعناكب ما نريده نحن و نحمي ما نرغب في حمايته و نؤرشف ما نسعى فقط لأرشفته
و كلنا يعلم أهمية أرشفة المواقع في محركات البحث .
و بعد بحثي في بعض المواقع و جدت ملفrobots.txt يستعمله أغلب المدونين أردت مشاركته معكم
يمكنكم تحميل الملف من
هنا و رفعه الى المجلد الرئيسي لموقعكم مع استبدال رابط موقعكم الخاص بكم مكان المسار your domain
و أخيرا مبروك عليك الملف و تمتع بزيارة منظمة لعناكب البحث و أرشفة لموقعك و حماية كذلك.