Robots txt faylı nədir? Necə istifadə olunur

Robots.txt faylı nədir ?

Robots.txt faylı, saytınızın kök qovluğunda yerləşən, axtarış sistemlərinin botlarının daxil olmasını istəmədiyiniz yerləri göstərən bir text faylıdır. Fayl kiçik əmrlərdən ibarət olan Preventing Robots Standard (Robotları idarə etmə standartı) -dan istifadə edir.

Robots.txt faylı saytınızın əsas qovluğunda (Nümunə: https://example.com/robots.txt) yerləşən axtarış sistemlərinin əmrlər faylıdır. Buna görə Google Bots saytınıza daxil olduqda, Əgər bir robots.txt faylı mövcutdursa saytınızda ilk ora daxil olacaqdır, əks halda işiniz çətin olacaqdır, Çünki saytınızda idarə paneli mövcutdursa və ya google botların indeksləməsini istəmədiyiniz gizli olan faylları google botları indeksləyəcəkdir.

Robots.txt faylının əmrləri.

User-agent: Veb saytınıza daxil olan axtarış sistemi botunun adı yazılmalıdır, Əgər bütün botlar üçün eyni əmrlər tətbiq ediləcəkdirsə (*) simvolundan istifadə etmək kifayətdir (User-agent: *) . 

(Nümunə bot adları: DeepCrawl ,Googlebot, Bingbot,DuckDuckBot,YandexBot)

Disallow: Axtarış sistemlərinin botlarının görməsini istəmədiyiniz faylların, linklərin və qovluqların adı daxil edilməlidir. Botların saytınızdakı heç bir linki indeksləməsini istəmirsinizsə (/) simvolundan istifadə etmək kifayətdir (Disallow: /).

Allow: Saytınızda indekslənməsini istədiyiniz linklər üçün istifadə edilən əmrdir. Əgər bir robots.txt faylında eyni zamanda "Allow" və "Disallow" əmrindən istifadə edəcəksəniz "Allow" əmri əvvəl yazılmalıdır. Bəzi nümunələr nəzər salaq. Saytınızda "http://example.com/products" linkinin botlar tərəfindən indeksləməsini istərmirsiniz ancaq "http://example.com/products/product-5" linkinin idekslənməsini istəyirsiniz o zaman robots.txt faylındakı əmr aşağıdakı şəkildə olacaqdır.

User-agent: *

Allow: /products/product-5

Disallow: /products/

Crawl-delay: Bu əmr axtarış sistemi botları üçün gecikdirmə əmridir. (Crawl-delay: 10) yazdığlmızda botlar 10 saniyə fasilələrlə saytımızdan məlumat oxuyacaqdır.

Visit-time: Botların veb saytınıza hansı saat aralığında daxil olmasını istəyirsinizsə bu əmr vasitəsi ilə qeyd edə bilərsiniz. (Visit-time:0600-0845) əmri axtarış sistemi botunun saat 06:00 ilə 08:45 arasında saytınıza daxil olması mənasına gəlir.

Request-rate: Tələb mənasına gələn bu əmr veb saytınıza daxil olan botun nə qədər müddətdə nə qədər səhifəni ziyarət etməsi gərəkdiyini bildirir. (/) simvolundan əvvəl yazılan dəyər səhifə sayını, sonra daxil edilə ədəd isə saniyə ilə müddəti bildirir. 

Request-rate: 5/10 yazsaq bu deməkdirki axtarış sistemi botu hər 10 saniyədə maksimum 5 səhifəni ziyarət edəcəkdir.

Sitemap: Veb saytınızda bir sitemap faylı və ya linki vardırsa robots.txt faylına qeyd etməyiniz faydalı olacaqdır (Sitemap: http://example.com/sitemap.xml).

(#) simvolu robots.txt faylında şərhlər yazmaq üçün istifadə olunur. şərhlər botlar tərəfindən oxumur.