|
في حال وجود أي مواضيع أو ردود مُخالفة من قبل الأعضاء، يُرجى الإبلاغ عنها فورًا باستخدام أيقونة ( تقرير عن مشاركة سيئة )، و الموجودة أسفل كل مشاركة .
آخر المواضيع |
|
شرح كل ما يتعلق بملف ال robots.txt وتوجيه عناكب محركات البحث
|
أدوات الموضوع | انواع عرض الموضوع |
2011-01-09, 21:53 | رقم المشاركة : 1 | ||||
|
شرح كل ما يتعلق بملف ال robots.txt وتوجيه عناكب محركات البحث
سم الله الرحمن الرحيم
مقدمة: سنشرح فى هذا الدرس كل ما يتعلق بملف robots.txt هذا الملف الشهير الذى يتحدث الكثير عنه ونقوم بوضعه فى مواقعنا دون ان نفهم محتواه او الفائده منه , بعد هذا الدرس ستفهم كل شىء عنه وستكتب محتوياته بيدك دون الرجوع لأحد , فقط تابع الدرس بتركيز . معنى كلمة robots : المعنى الحرفى لكلمة robots هى " الرجل الالى" وهذا ادق معنى للrobots الخاصه بمحركات البحث ولكنها ايضا يطلق عليها فى بعض الاحيان Wanderers بمعنى "المتجولون" او spiders " بمعنى عناكب ....الان بدأنا نعرف عن ماذا اتحدث عندما ذكرت كلمة عناكب اليس كذلك؟ حسنا نستخلص من هذا ان ال robots هى عناكب محركات البحث وبالتالى سيكون ملف robots.txt هو المسؤول عن توجيه هذه العناكب ما هى العناكب وما هى وظيفتها: عناكب محركات البحث عباره عن برامج تتصفح المواقع تلقائيا . محركات البحث مثل Google تستخدم العناكب فى أرشفة محتويات المواقع لكى تبنى بها محرك بحث Google الشهير .كما ان بعض ال spammers -وهم الذين يهتمون بجمع الايميلات ومراسلتها بغرض الدعايا- يقومون بعمل عناكب بهدف جمع الايميلات من المواقع حتى الان عرفنا ماهى العناكب ووظيفتها وما هو ملف الـ robots.txt ووظيفته ولكن سنتعلم فى النقاط التاليه المزيد من وظائف ملف الـ robots.txt وكيفية كتابتة واعداده بأختصار: اى صاحب موقع يجب عليه ان يقوم بعمل ملف robots.txt لكى يقوم بتوجيه عناكب محركات البحث القادمة الى موقعة وهذا يسمى ببروتوكول استثناء العناكب The Robots Exclusion Protocol , وهذا مثال لكيفية عمل ملف robots.txt: سنفترض ان احد عناكب محركات البحث جاء الى الصفحة التالية https://www.example.com/welcome.html قبل ان يقوم بالتعامل مع الصفحة يتحقق اولا من وجود هذا الملف https://www.example.com/robots.txt, وسنفترض مثلا انه وجد به الكود التالى كود PHP:
كود PHP:
لاحظ النقاط التالية:
كيف يمكنك عمل ملف الـ robots.txt ؟ وهذا السؤال ينقسم الى عدة نقاط اولا : اين يوضع ملف الـ robots.txt ؟ الاجابة المختصره على هذا السؤال: يوضع فى مجلد الموقع الرئيسى , بمعنى ان رابط الملف بعد تركيبه سيكون بهذا الشكل https://www.example.com/robots.txt الاجابة المفصله لهذا السؤال : ان عناكب محركات البحث عندما تقوم بالتحقق من وجود ملف الـrobots.txt فهى تقوم بحذف جزء من الرابط هذا الجزء هو من اول slash "/"حتى نهاية الرابط وتضع مكان هذا الجزء "/robots.txt" مثال على ذلك بالنسبة لهذا الرابط https://www.example.com/shop/index.html ستقوم العناكب بحذف /shop/index.html وستضع مكانه "/robots.txt" اى انها ستبحث عن ملف ال robots.txt على هذا الرابط https://www.example.com/robots.txt وتذكر دائما ان تكتب اسم الملف بالحروف الصغيره اى ان اسمه robots.txt ووليس Robots.TXT ماذا سأضع بداخل ملف الـ robots.txt ؟ ملف الـ robots ملف نصى "text" وظيفته الاساسية هى الاستثناء كما سنرى الامر ابسط مما تتخيلون سنشرح عن طريق امثله لمحتويات ملف الـrobots.txt وتفسيرها كود PHP:
لاحظ انك يجب ان تضع امر "Disallow" فى سطر منفصل كل مره تحجب فيها مجلد او رابط معين ولا يمكنك حجب مجلدين فى نفس الوقت عن طريق امر واحد بل ضع لكل مجلد امر "Disallow" بمفرده كود PHP:
كود PHP:
كود PHP:
كود PHP:
كود PHP:
كود PHP:
انتهى الموضوع بحمد الله وارجو ان اكون وفقت فى الاعداد
|
||||
2011-01-10, 07:53 | رقم المشاركة : 2 | |||||
|
شكرا جزيلا لك أخي على الموضوع القيم |
|||||
2011-01-10, 21:59 | رقم المشاركة : 3 | ||||
|
اقتباس:
هذا الكود يعنى ان الموقع يوافق على دخول جميع عناكب محركات البحث الموضوع الكود مذكور مرتين، في أول الموضوع تقول: اقتباس: هذا الكود يعنى ان الموقع يوافق على دخول جميع عناكب محركات البحث و في نهاية الموضوع تقول: اقتباس: بواسطة هذا الكود نمنع كل عناكب محركات البحث من ارشفة كل محتويات الموقع و شكرا لك على الموضوع يوافق لاكن لا يسمح بالارشفة الملفات التي تحب ان تأرشفها اكتب اسماءها اعد قرائة الموضوع ستفهم |
||||
2011-03-27, 18:13 | رقم المشاركة : 4 | |||
|
|
|||
2012-04-12, 22:42 | رقم المشاركة : 6 | |||
|
اخي انا اضفت في نهاية موقعي التالي robots.txt و ظهر التالي User-agent: Mediapartners-Google Disallow: User-agent: * Disallow: / search Allow: / يمكن تشرحلي ما معنى هذا |
|||
2012-08-28, 12:29 | رقم المشاركة : 7 | |||
|
تسلم ايدك بلفعل الموضوع رائع و به الكثير من معلومات 1 |
|||
2012-12-09, 12:02 | رقم المشاركة : 8 | ||||
|
مشكور على الشرح اقتباس:
وهاته الطريقة ستمسح المحتوى المتكرر الذي سيرسل لجوجل ... وههذا تضمن اسرع ارشفة ... بالتوفيق |
||||
2013-02-02, 10:29 | رقم المشاركة : 9 | |||
|
مشكووووور أخي الكريم
|
|||
2013-07-07, 11:50 | رقم المشاركة : 10 | |||
|
شكراااا جزاك الله خيرا |
|||
2013-07-16, 23:57 | رقم المشاركة : 11 | |||
|
بالتوفيق إن شاء الله |
|||
الكلمات الدلالية (Tags) |
robots.txt |
|
|
المشاركات المنشورة تعبر عن وجهة نظر صاحبها فقط، ولا تُعبّر بأي شكل من الأشكال عن وجهة نظر إدارة المنتدى
المنتدى غير مسؤول عن أي إتفاق تجاري بين الأعضاء... فعلى الجميع تحمّل المسؤولية
Powered by vBulletin .Copyright آ© 2018 vBulletin Solutions, Inc