فایل robots.txt چگونه کار می‌کند؟

پوشه robots.txt یک فولدر متنی با ساختاری بی آلایش میباشد. طرز همت آموزش سئو کاربردی این فولدر با امداد دستورها پیش‌فرض و ترکیب کلمه ها کلیدی از پیش رقم خورده میباشد. برای مثال مهمترین و رایج‌ترین این اوامر مواقعی مثل User-agent ، Disallow ، Allow ، Crawl-delay و Sitemap می باشند که در پی به طور جدا هرکدام از این مفاد را با جزئیات آن ها تفصیل می دهیم.

User-agent: این امر برای مشخص و معلوم کردن ربات‌ها و خرندگانی میباشد که قابلیت و امکان دسترسی به نصیب‌های وبسایت را داشته باشند یا این که نه. با این شیوه نامه می‌قدرت به آحاد ربات‌ها دسترسی اعطا کرد و یا این که با افزودن اسم رباتی خاص، تنها به آن ربات دسترسی‌های متعدد را اعطا کرد یا این که محصور کرد.

نمونه: یک ربات وارد وبسایت شما گردیده و قصد رسیدگی و عده‌آوری داده ها از یک برگه خاص مثلا www.example.com/test.html را دارااست. این ربات پیش از اینکه این برگه را آیتم رسیدگی قرار دهد، آغاز فولدر robots.txt را بررسی می‌نماید. از جمله محتویات درون این فولدر به طور پایین میباشد:

User-agent: *

User-agent: * بدین مضمون‌ میباشد که کل نصیب‌های این وبسایت قابل دسترس برای آحاد ربات‌ها و خزندگان موتورهای کاوش میباشد. البته در صورتی قصد این را دارید که داده ها خویش را تنها برای یک ربات خاص گزینش فرمائید بایستی اسم ظریف آن ربات را به مکان ستاره جایگذاری فرمایید.

به نمونه ذیل توجه فرمایید. در‌این نمونه صرفا ربات گوگل حق دسترسی به صفحه های وب سایت را داراست :

User-agent: Googlebot

Disallow و Allow: با یاری این آیین نامه می‌قدرت به User-agent یا این که به عبارتی ربات‌های رقم خورده مشخص و معلوم کرد که کدام قسمت‌های وبسایت را پژوهش و ایندکس نمایند یا این که نکنند. همان طور که معلوم میباشد، کد Allow به منزله ساخت دسترسی و کد Disallow به منزله محدودسازی دسترسی ربات‌ها به کار گیری میشوند.

نمونه: چنانچه تنها امر "Disallow: /" را در فولدر robots.txt درج کرده باشید، با این عمل به ربات‌ها اعلام می کنید که آنان نباید هیچ برگه‌ای از این وب سایت را بازدید، رسیدگی یا این که ایندکس نمایند. همینطور درصورتی که میخواهید به کلیه آنان دسترسی بی نقص داده باشید می بایست از فرمان  "Allow: /" استعمال فرمائید.

شما میتوانید پوشه‌ها، مسیرها، نشانی‌ها و صفحه های معلوم گردیده وب سایت خویش را تحت عنوان مورد ها انتخابی انتخاب نمایید تا تنها این قسمت‌ها قابل دسترسی باشند یا این که برعکس. به مثال بی آلایش پایین توجه فرمائید:

Disallow: /wp-admin/

Allow: /contact/

طبق نمونه بالا، مسیر ورودی به پنل مدیریتی وردپرس برای دسترسی ربات‌ها محصور شد‌ه‌است البته برگه Contact یا این که به عبارتی شیت رابطه با ما قابل دسترس میباشد. به همین نحوه می‌اقتدار خیلی ریلکس و سریع این نوع دسترسی‌ها را رئیس کرد.

مثال‌هایی رایج از این شیوه نامه‌ها :
 

Crawl-delay: شما قوی می‌باشید تا با درج شیوه نامه Crawl-delay یا این که نرخ تأخیر، ربات‌های موتورهای کاوش را بدون چاره فرمایید تا برای پژوهش و ایندکس کردن صفحه های شما به دفعه، به مقدار فرصت معلوم گردیده بوسیله شما شکیبایی نمایند. ولی لازم به ذکر میباشد که‌این آیین نامه روی برخی از ربات‌ها برای مثال مهم‌ترین آنان ربات گوگل یا این که Googlebot قابل به کارگیری وجود ندارد. برای اینکه این قابلیت و امکان را در ربات گوگل نیز فعال فرمائید، میتوانید از کنسول جستجوی گوگل (Google Search Console) نرخ مجال مرتبط با این گزینه را برای ربات گوگل از قسمت پیکربندی وبسایت (Site Settings) تغییر‌و تحول دهید.

مقصود از این شغل کاهش تعداد درخواست‌های پیاپی ربات‌ها به سرور وبسایت شما میباشد. اینگونه اقدامی به تسهیل فرآیندهای ایندکس شدن امداد متعددی می‌نماید. برای استعمال از این امر می توانید در پوشه متنی robots.txt متن تحت را قرار دهید :

crawl-delay: 10

با قرار دادن این کد در robots.txt شما درواقع به ربات‌های موتورهای جستجویی همانند Yahoo و Bing اعلام می کنید که بعداز هریک ایندکس، 10 ثانیه حوصله کرده و مجدداً برگه دیگری را ایندکس نمایند. این کد برای موتور جستجوی Yandex با مقداری تفاوت شغل می‌نماید. با درج این فرمان در robots.txt موتور جستجوی Yandex هر 10 ثانیه یک توشه به تمام صفحه ها وب سایت دسترسی پیدا خواهد کرد. با تغییر تحول عدد 10 به دیگر اعداد، می توانید دوران فرصت مربوطه را نادر یا این که زیاد نمایید.

نکته: اعتنا نمایید که به کارگیری از آیین نامه crawl-delay ممکن میباشد در همگی حالات فیض مطلوب به یار و همدم نداشته باشد. برای مثال در صورتی‌که شما نرخ تأخیر ربات‌ها را روی ده ثانیه قرار دهید، موتورهای کاوش به طور روزمره می توانند تنها در حدود 8600 شیت از وب سایت شما‌را پژوهش و ایندکس نمایند. اگرچه این مقدار برای تارنما‌های خیر چندان تعالی مقدار پاره ای وجود ندارد، ولی برای تارنما‌هایی که صفحه های زیاد و محتوای زیادی دارا هستند مبادرت قابل قبولی نیست. به این ترتیب پیش از به کارگیری از این گزینه به‌این مورد اعتنا کافی را داشته باشید.