Co je crawl budget

Slovník pojmů  |  Filip Podstavec

Co je crawl budget

Crawl budget je objem URL, které dokáže crawler projít během určitého časového období. Jeho míra je nejčastěji udávána v počtu URL, procházených specifickým robotem (crawlerem) za jeden den. Udává ji mnoho faktorů. Mezi nejdůležitějších patří kvalita obsahu, rychlost načítání stránek a struktura interního prolinkování.

Jak zjistit crawl budget webu

K identifikaci crawl budget specifických crawlerů (robotů) vyhledávačů se používá analýza access logů serveru. Access log je soubor na serveru, který zaznamenává veškeré požadavky, které server zpracovává. Na výstupu vrací data jako:

  • User-agent (Používá se k identifikaci požadavků robota na server)
  • IP
  • URL požadavku
  • Datum a čas požadavku
  • ...a mnohé další

Dovoluje tak SEO specialistům či komukoli jinému analyzovat bližší informace o požadavcích, prováděných crawlery vyhledávačů.

Crawl budget ilustrace

Optimalizace crawl budgetu

Vyhledávače přidělují crawl budget webu primárně na základě jeho autority (odkazového portfolia) a množství unikátního/kvalitního obsahu, které jsou schopny získat. V rámci průchodu crawlera webem je třeba řešit tzv. crawl waste. Crawl waste jsou dotazy, které jdou na neexistující stránky či stránky které necheme indexovat. V rámci analýzy logů se nejčastěji objevují následující problémy:

  • URL s chybovou odezvou
  • Neindexovatelné stránky
  • Stránky s tzv. “thin content”

Filip Podstavec

Filip Podstavec

Filip je hlavním stavbyvedoucím tohoto nástroje. Od roku 2006 působí v oblasti online marketingu, především se specializací na link building a technické SEO.

Další články

Že ses ještě nerozhodl?

Nevadí, můžeš si nás zdarma a jednoduše otestovat.