Co je crawl budget

Slovník pojmů  |  10.10.2016

Co je crawl budget

Crawl budget je objem URL, které dokáže crawler projít během určitého časového období. Jeho míra je nejčastěji udávána v počtu URL, procházených specifickým robotem (crawlerem) za jeden den. Udává ji mnoho faktorů. Mezi nejdůležitějších patří kvalita obsahu, rychlost načítání stránek a struktura interního prolinkování.

Jak zjistit crawl budget webu

K identifikaci crawl budget specifických crawlerů (robotů) vyhledávačů se používá analýza access logů serveru. Access log je soubor na serveru, který zaznamenává veškeré požadavky, které server zpracovává. Na výstupu vrací data jako:

  • User-agent (Používá se k identifikaci požadavků robota na server)
  • IP
  • URL požadavku
  • Datum a čas požadavku
  • ...a mnohé další

Dovoluje tak SEO specialistům či komukoli jinému analyzovat bližší informace o požadavcích, prováděných crawlery vyhledávačů.

Crawl budget ilustrace

Optimalizace crawl budgetu

Vyhledávače přidělují crawl budget webu primárně na základě jeho autority (odkazového portfolia) a množství unikátního/kvalitního obsahu, které jsou schopny získat. V rámci průchodu crawlera webem je třeba řešit tzv. crawl waste. Crawl waste jsou dotazy, které jdou na neexistující stránky či stránky které necheme indexovat. V rámci analýzy logů se nejčastěji objevují následující problémy:

  • URL s chybovou odezvou
  • Neindexovatelné stránky
  • Stránky s tzv. “thin content”

Další články

Že ses ještě nerozhodl?

Nevadí, můžeš si nás zdarma a jednoduše otestovat.