Crawl büdcəsi nədir?

Crawl budget – axtarış sistemlərinin müəyyən bir zaman çərçivəsində vebsaytda tarayacağı səhifələrin sayıdır.

Niyə axtarış sistemləri vebsaytlara crawl budget ayırır?

Çünki axtarış sistemlərinin resursları sonsuz deyil və bu resursları milyonlarla sayt arasında bölməli olurlar. Bu səbəbdən, hansı saytların və səhifələrin prioritet olduğunu müəyyənləşdirmək üçün hər bir sayta xüsusi crawl büdcəsi təyin olunur.

Crawl budget necə təyin olunur?

İki əsas faktora əsaslanır:

• Crawl limiti / host yüklənməsi – Saytın texniki baxımdan neçə dəfə və nə qədər intensivlikdə tarana biləcəyini müəyyən edir. Burada həmçinin sayt sahiblərinin robots.txt və server konfiqurasiyaları kimi parametrləri də nəzərə alınır.
• Crawl tələbatı / tarama planlaması – Hər bir URL-in nə qədər önəmli və nə qədər tez-tez yeniləndiyinə əsaslanaraq axtarış sistemlərinin onu nə qədər tez-tez crawling etməli olduğunu müəyyən edir.

Crawl budget yalnız səhifələrə aiddirmi?

Əslində, yox. Sadəlik üçün biz “səhifələr” deyirik, lakin reallıqda axtarış sistemləri JavaScript və CSS faylları, mobil səhifə versiyaları, hreflang variantları və PDF sənədləri kimi digər elementləri də tarayırlar. Crawl büdcəsi bu faylları da əhatə edir.

Crawl limiti / host yüklənməsi necə işləyir?

Crawl limiti – axtarış sistemlərinin serverə əlavə yük yaratmadan hansı intensivlikdə sorğular göndərə biləcəyini təyin edir. Bu limitin müəyyən edilməsində bir neçə faktor rol oynayır:

• Server problemləri: Serverin verdiyi çoxsaylı səhvlər və cavab müddətinin yubanması saytın texniki vəziyyətinin zəif olduğunu göstərir və tarama tezliyini azalda bilər.
• Paylaşılan hostinq: Əgər saytınız yüzlərlə başqa saytla eyni serverdə yerləşirsə, host səviyyəsində müəyyən olunmuş crawl limiti digər saytlarla paylaşılır və bu da sizin saytın resurslara çıxışını məhdudlaşdıra bilər.
• Mobil və desktop versiyalar: Hər iki versiya eyni serverdədirsə, onlar da eyni crawl limitini paylaşırlar.

Crawl tələbatı / tarama planlaması necə işləyir?

Burada əsas məqsəd – hansı URL-lərin yenidən taranmağa dəyər olduğunu müəyyənləşdirməkdir. Bu da bir neçə faktordan asılıdır:

• Populyarlıq: Daxili və xarici keçidlər, səhifənin aldığı trafik, sıralandığı sorğuların sayı.
• Təzəlik: Səhifənin nə qədər tez-tez yeniləndiyi.
• Səhifənin tipi: Məsələn, məhsul kateqoriya səhifələri tez-tez dəyişdiyi üçün daha tez-tez taranmalıdır, halbuki “istifadə şərtləri” kimi səhifələrdə dəyişiklik nadir hallarda baş verir.
  

Baxmayaraq ki, Google kimi axtarış sistemlərinin böyük texniki imkanları var, onların da resursları tamamilə sonsuz deyil. Məsələn, Google-un məlumat mərkəzlərinin 80%-i eyni vaxtda sıradan çıxsa, ümumi tarama gücü kəskin şəkildə azalacaq və nəticədə bütün saytların crawl büdcəsi təsirlənəcək.

İstəyirsiniz ki, axtarış sistemləri saytınızdakı mümkün qədər çox indekslənə bilən səhifəni tez bir zamanda tapsın və anlayıb indeksləsin.

Əgər crawl budget-i düzgün idarə etmirsinizsə, axtarış sistemləri saytınızın əhəmiyyətsiz hissələrinə vaxt sərf edəcək və əsas səhifələr diqqətdən kənarda qala bilər. Axtarış sistemi bir səhifədən xəbərdar deyilsə, onu nə crawl, nə də indeksləyə bilər. Bu da həmin səhifənin heç bir istifadəçiyə axtarış nəticələrində görünməyəcəyi anlamına gəlir.

Bu səbəbdən crawl büdcəsini boş yerə sərf etmək SEO nəticələrinizə mənfi təsir edə bilər.

Crawl büdcəsi əsasən böyük saytlar üçün (10,000+ səhifə) önəmlidir. Kiçik saytlar üçün bu məsələ nadir hallarda problem yaradır.