Crawl budget je pojem, který označuje množství stránek na webu, které dokáže vyhledávač (například Googlebot) procházet a indexovat během určitého časového období. Jednoduše řečeno: jde o to, kolik stránek z vašeho webu si Google zvládne načíst a zaindexovat, než se přesune jinam. U menších webů to obvykle není zásadní problém, ale u větších projektů může mít crawl budget velký vliv na viditelnost ve výsledcích vyhledávání.
Jak crawl budget funguje
Crawl budget je ovlivněn dvěma hlavními faktory:
- Crawl rate limit – technické omezení, tedy kolik požadavků dokáže Googlebot poslat, aniž by zpomalil server. Pokud je server pomalý nebo vrací chyby, Google sníží intenzitu procházení.
- Crawl demand – poptávka po indexaci konkrétních stránek. Google se zaměřuje hlavně na stránky, které považuje za důležité a které mohou mít uživatelskou hodnotu (např. často aktualizované stránky, populární obsah, důležité produktové stránky).
Proč na crawl budgetu záleží
1. Rychlejší indexace nového obsahu – pokud má web efektivně využitý crawl budget, nové články či produkty se dostanou do indexu rychleji.
2. Lepší viditelnost v Google a dalších vyhledávačích – pokud se část stránek zbytečně plýtvá na duplicity nebo technické chyby, důležitý obsah může zůstat neprocházený.
3. Efektivnější správa velkých webů – pro e-shopy, magazíny a portály je optimalizace crawl budgetu zásadní, protože mají tisíce až miliony stránek.
Jak zjistit, jak velký je váš crawl budget
Crawl budget není hodnota, kterou by Google ani jiný vyhledávač přímo zobrazoval, ale lze ji odhadnout z dostupných dat:
- Google Search Console → V levém menu jděte do „Nastavení“. Sekce „Statistiky procházení“ (Crawl Stats) ukazuje, kolik stránek Googlebot denně prochází.
- Serverové logy → z logů lze zjistit, jak často a které URL vyhledávače navštěvují.
- Nepřímé ukazatele → rychlost indexace nového obsahu nebo to, zda některé důležité stránky zůstávají mimo index.
Jak efektivně využít crawl budget
- Odstraňte duplicity (např. parametrické URL, duplicitní verze stránek).
- Používejte správně robots.txt k blokaci zbytečných stránek.
- Optimalizujte interní prolinkování, aby Google našel důležitý obsah snáz.
- Zrychlete web – rychlejší web zvládne Googlebot projít intenzivněji.
- Udržujte sitemapu aktuální, aby Google věděl, které stránky má indexovat.
Shrnutí
Crawl budget je klíčovým faktorem pro weby, které chtějí mít jistotu, že jejich důležitý obsah se dostane do vyhledávačů. Pokud je web technicky v pořádku a nemá zbytečné duplicity, crawl budget se využívá efektivně. Naopak špatná správa může znamenat, že Google bude ztrácet čas na nepodstatném obsahu, zatímco klíčové stránky vašeho webu zůstanou mimo index.
