Crawling

Crawling (česky procházení) je proces, kdy vyhledávací roboti (tzv. crawlery nebo boti) automaticky procházejí internetové stránky a sbírají o nich informace.

Nejznámějším příkladem je Googlebot, robot společnosti Google, ale každý vyhledávač má své vlastní crawlery – například:

• Bingbot (Bing)
• SeznamBot (Seznam.cz)
• YandexBot (Yandex)

Tyto roboty navštěvují váš web podobně jako běžný uživatel, ale namísto prostého čtení textu klikají na odkazy, analyzují kód a připravují stránku k zařazení do výsledků vyhledávání.

🔗 Jak crawling probíhá?

Crawling má několik fází:

1. Objevení (Discovery):
   Robot zjistí, že vaše stránka existuje – například díky odkazu z jiného webu nebo zápisu v sitemapě.
2. Stažení obsahu (Fetching):
   Crawler si stáhne HTML kód stránky, někdy i CSS, JS a obrázky.
3. Analýza (Parsing):
   Robot přečte obsah stránky, odkazy a strukturu.
4. Rozšíření (Follow links):
   Na základě nalezených odkazů pokračuje dál na další stránky vašeho webu.
5. Předání do indexace:
   Informace z crawlingu jsou odeslány do další fáze: indexace.

📉 Co se stane, když crawler web nenajde?

Vaše stránka nebude zaindexována → nebude zobrazena ve výsledcích vyhledávání → nedostanete návštěvnost z vyhledávačů.

⚠️ To je častá chyba u nových nebo technicky špatně postavených webů.

🧭 Jak crawler najde vaši stránku?

Nejčastější cesty:

• Odkazy z jiných webů (tzv. backlinky)
• XML sitemap (soubor s výpisem všech URL)
• Google Search Console → požádání o zaindexování
• Interní odkazy na webu
• Přirozené procházení nových domén

🛑 Co crawling blokuje?

• Chybný soubor robots.txt – pokud tam máte Disallow: /, roboti váš web ignorují.
• Zákazy v HTML (meta robots) – např. noindex, nofollow
• Chyby 404 nebo přesměrování
• Nadměrná složitost webu (např. JS-heavy SPA bez fallbacku)
• Nedostatečný crawl budget (omezený počet stránek, které robot navštíví – více níže)

📊 Co je crawling budget a proč na něm záleží?

Crawling budget je počet stránek, které robot navštíví během určitého období.

👉 U malých webů většinou není problém.
👉 U větších webů (např. e-shopy s tisíci produktů) je důležité prioritizovat důležité URL, jinak se může stát, že:

• některé stránky nebudou nikdy procházeny
• vyhledávač zůstane „zacyklený“ v málo důležitých URL
• plýtváte crawling budgetem na duplicity

👉 Crawling budgetu jsem se věnoval v samostatném článku zde.

✅ Jak crawlingu pomoci?

1. Vytvořte sitemap.xml a nahrajte ji do Search Console
2. Zkontrolujte robots.txt – neblokujete omylem něco důležitého?
3. Interně prolinkujte důležité stránky
4. Odstraňte zbytečné stránky (např. filtry, duplicitní URL)
5. Omezte počet přesměrování
6. Zkontrolujte responzivitu, rychlost a technické SEO
7. Získejte kvalitní odkazy z jiných webů – pomáhá s objevováním

🧪 Jak zjistím, co Google crawler dělá na mém webu?

• Google Search Console → pokrytí indexu / procházení
• Serverové logy – tam uvidíte návštěvy Googlebota
• Nástroje jako Screaming Frog nebo Ahrefs – simulují crawling

💬 Crawling ≠ indexace

Důležité: i když robot stránku projde, nemusí ji zařadit do indexu. Proč?

• Není dostatečně kvalitní
• Má duplicitní obsah
• Nedává přidanou hodnotu

📌 Crawling je podmínka pro indexaci – ale samotný k zobrazení v SERPu nestačí.

🤝 Chcete, aby vás Google našel? Pomůžeme

Správný crawling je základ úspěšného SEO. Ať už potřebujete jen poradit, zjistit, zda váš web vůbec někdo prochází, nebo vyřešit problémy s indexací, jsme tady pro vás.

📩 Stačí se nám ozvat například prostřednictvím našeho formuláře a připravíme vám nezávaznou analýzu zdarma.
👉 Bez crawlingu není návštěvnost. Bez návštěvnosti není zisk.

❓ FAQ – Crawling (procházení webu)

1) Co je crawling a proč je důležitý?
Crawling (procházení) je proces, kdy vyhledávací roboti automaticky navštěvují Vaše stránky, sbírají informace a připravují je k zařazení do indexu. Bez crawlingu se stránky nemohou objevit ve výsledcích vyhledávání.

2) Kteří roboti weby procházejí?
Nejznámější je Googlebot, ale existují i další: Bingbot (Bing), SeznamBot (Seznam.cz), YandexBot (Yandex). Každý vyhledávač má vlastní crawlery.

3) Jak crawling probíhá?
Má několik fází: objevování stránky (odkaz, sitemap), stažení obsahu (HTML, CSS, JS, obrázky), analýza obsahu a odkazů, následné procházení dalších stránek a předání dat do indexace.

4) Co se stane, když robot Vaši stránku nenajde?
Stránka nebude zaindexována a nezobrazí se ve výsledcích vyhledávání. To znamená nulovou návštěvnost z vyhledávačů.

5) Jak robot Vaši stránku najde?
Díky odkazům z jiných webů (backlinky), XML sitemapě, požadavku v Google Search Console, interním odkazům nebo přirozenému procházení nové domény.

6) Co může crawling blokovat?
Chybně nastavený robots.txt (např. Disallow: /), meta značky (noindex, nofollow), nefunkční stránky (404, chybné přesměrování), příliš složitý web s nadměrným JS nebo nedostatečný crawl budget.

7) Co je crawling budget?
Je to počet stránek, které robot navštíví během určitého období. U malých webů obvykle problém nevzniká, ale u velkých (např. e-shopů) je důležité správně prioritizovat důležité URL, jinak se část webu nemusí nikdy procházet.

8) Jak crawlingu pomoci?
Vytvořte a odešlete sitemap.xml, správně nastavte robots.txt, prolinkujte důležité stránky, odstraňte duplicity, omezte přesměrování, zrychlete web a získejte kvalitní externí odkazy.

9) Jak zjistíte, co crawler dělá na Vašem webu?
Pomocí Google Search Console (sekce Procházení/pokrytí indexu), serverových logů nebo nástrojů jako Screaming Frog či Ahrefs, které simulují práci crawlera.

10) Jaký je rozdíl mezi crawlingem a indexací?
Crawling znamená, že robot stránku navštíví a přečte. Indexace je proces, kdy se rozhodne, zda stránku uloží do databáze a zobrazí v SERPu. Crawling je podmínkou indexace, ale sám o sobě nezaručuje, že se stránka objeví ve výsledcích vyhledávání.