Robots.txt

Poslední aktualizace: 1. 11. 2024

Štítky: robots.txt, SEO, SERP

Že jste ještě neslyšeli o pojmu Robots.txt? Soubor robots.txt slouží na webu jako „průvodce“ pro webové roboty – crawlery.

Soubor robots.txt zastává na webové stránce roli jakýchsi instrukcí webovým robotům, zejména těm od vyhledávačů, o tom, které části webu smí nebo nesmí procházet a indexovat. Je však pouze na robotech, zda budou tyto pokyny respektovat. Viditelnost jednotlivých částí webových stránek uživatelům soubor robots.txt nijak neupravuje.

Jak funguje robots.txt?

• Soubor je umístěn v kořenovém adresáři webu – například mhwebdesign.cz/robots.txt.
• Webový robot (crawler) od vyhledávače jako Google nejprve zjistí, zda tento soubor vůbec existuje.
• Poté si přečte pokyny v souboru a rozhodne se, které stránky navštíví a které nikoli.

Co můžete ovládat pomocí robots.txt?

• Blokování stránek: Můžete zabránit robotům v procházení a indexování konkrétních stránek na vašem webu. To může být užitečné pro stránky, jako jsou například stránky s přihlášením nebo duplicitním obsahem. Správný postup pozitivně ovlivňuje Vaše SEO.
• Blokování adresářů: Můžete také zabránit robotům v procházení celých adresářů na vašem webu.
• Blokování souborů: Můžete zabránit robotům v procházení určitých typů souborů, například souborů PDF nebo obrázků.

Co soubor neovlivní?

• Soubor a jeho obsah jsou pouze doporučením pro webové roboty a nijak robotům nebrání Váš pokyn nerespektovat. Je čistě na robotech (a na tom, jak je nastaven konkrétní crawling systém), zda se budou Vaším souborem robots.txt řídit.
• Robots.txt nebrání uživatelům v přístupu k žádné části vašeho webu.
• Soubor ani neovlivňuje, zda se stránka objeví ve výsledcích vyhledávání. Může pouze ovlivnit, zda je stránka indexována a zda se v ní objeví konkrétní obsah.

Kdy byste měli používat robots.txt?

• Pokud chcete zabránit robotům v indexování stránek s citlivými informacemi.
• Máte-li na webu duplicitní obsah, který nechcete, aby byl indexován.
• Pokud chcete omezit počet stránek, které robot navštěvuje, a tím snížit zátěž na server.

Respektují roboti tato doporučení?

Z čistě praktického hlediska lze konstatovat, že crawleři velkých vyhledávačů obecně respektují obsah souboru robots.txt. Není to však záruka. Soubor je třeba brát spíše jako jakýsi gentleman’s agreement mezi majiteli webů a provozovateli vyhledávačů – rozhodně se nejedná o právně závazný dokument. Některé typy robotů mohou soubor záměrně ignorovat, a to třeba z důvodu podezření na spamový nebo jinak závadný obsah.

Užitečné odkazy:

• Úvod do problematiky robots.txt od Googlu: https://developers.google.com/search/docs/crawling-indexing/robots/intro

Líbil se Vám tento příspěvek? Sdílejte ho!