Testa un file robots.txt contro URL specifiche per verificare se sono bloccate o consentite a Googlebot, Bingbot o altri crawler.
Evita errori costosi: un robots.txt mal configurato puo' impedire l'indicizzazione di intere sezioni del sito, causando crolli improvvisi del traffico organico.
Risultato
Sitemap dichiarate
Sintassi del robots.txt
Il file robots.txt si trova sempre in /robots.txt alla root del dominio. Usa direttive User-agent, Disallow, Allow e Sitemap.
Esempio base:User-agent: *
Disallow: /admin/
Allow: /admin/public/
Sitemap: https://example.com/sitemap.xml
Attenzione: robots.txt e' un suggerimento, non una garanzia. Per escludere contenuti sensibili usa anche password o il meta tag noindex.