ما هو ملف (Robots.txt)وكيفية استخدامه

في مجال الحوسبة ، يحتوي ملف robots.txt على أوامر لروبوتات الزحف لمحرك البحث. يتم استخدام هذا الملف لإصدار أذونات الزحف إلى الروبوتات الخاصة بمحركات البحث وتحديد الصفحات التي يسمح لهم بالزحف اليها وارشفتها دون غيرها لتسهيل حركتهم داخل موقعك وبالتالي تخفيف عدد الطلبات على الموقع.

ليس من الضروري أن يكون لديك مثل هذا الملف ، ولكن عندما يكون لديك مشكلة في الزحف ، فهو الخطوة الأولى التي يجب الإنتباه اليها لإصلاح الزحف إلى موقع ويب بواسطة روبوتات محرك البحث ، مثل Google و Bing و Yandex وما إلى ذلك.خاصة اذا كان موقعك جديداً على الويب ،وغالباً يوجد هذا الملف على عنوان URL معين لموقع الويب المرفق به. على سبيل المثال ، https://abhath.net/robots.txt.

كيف يعمل ملف Robots.txt؟

لا تتبع جميع برامج الروبوت التعليمات الواردة في ملف Robots.txt حرفياً. لذلك فهي ليست أداة لضمان أمن الموقع. هذا المستند مخصص لبرامج زحف محركات البحث لإخبارهم بعناوين URL وملفات الوسائط وملفات الموارد المخصصة للزحف. يمكن أن يشير أيضًا إلى مكان وجود خرائط مواقع الموقع. أولاً ، تقوم برامج الزحف بتنزيل ملف Robots.txt لتحليل تعليماته ومعرفة قواعد التفويض المحددة في موقع الويب قبل الاستكشاف. بعد ذلك ، إذا سمح لهم الملف ، يقومون بتحميل عنوان URL إلى جذر الموقع ، مثل https://abhath.net/. من خلال قراءة محتوى هذه الصفحة ، بدأوا في تعيين الروابط الداخلية التي تسمح لهم بزيارة الموقع ، من خلال تطبيق القواعد التي تم اكتشافها مسبقًا في ملف Robots.txt. على سبيل المثال ، من غير المجدي السماح لـ Google بالزحف إلى واجهة لوحة تحكم الموقع من الداخل ،بينما يسمح بإكتشاف وعرض المقالات والصفحات وغيرها من الأمور التي يجب فهرستها .ولذلك يمكن لهذا الملف أن يمنع فهرسة موقع الويب بواسطة محركات البحث.

التعليمات التي يجب استخدامها في ملف Robots.txt

يعد إنشاء ملف Robots.txt إلزاميًا فقط عندما تريد التحكم في الزحف إلى موقع الويب الخاص بك بواسطة محركات البحث. لكي تفهم العناكب ، يجب أن يحتوي الملف على ثلاثة أنواع من المعلومات:

• عليك تحديد وكيل المستخدم الذي تنطبق عليه القواعد. ذلك من Google: googlebot؟ من Bing: bingbot؟ جميع الروبوتات المشار إليها بنجمة: *؟
• الإجراء بالسماح “Allow”أو عدم السماح “Disallow” ،بالاستكشاف عند الزحف إلى الموقع.
• تحديد العناوين URL المعنية بالقواعد المحددة أعلاه.

مثال للتعليمات المكتوبة على ملف Robots.txt

كيفية اضافة ملف Robots.txt في الموقع