Příspěvky na téma robots.txt

Že jste ještě neslyšeli o pojmu Robots.txt? Soubor robots.txt slouží na webu jako „průvodce“ pro webové roboty – crawlery.