Risposta rapida
robots.txt è un file nella root del sito che contiene istruzioni rivolte ai crawler e può dichiarare una sitemap. È utile per rendere esplicite alcune scelte tecniche, senza imporre il comportamento di ogni crawler.
Perché può meritare attenzione
Un 404 indica che il file non è stato trovato nel percorso previsto. Un altro stato HTTP o una direttiva Sitemap non osservata richiedono contesto prima di diventare un intervento.
Cosa viene osservato
Il controllo richiede il file nella posizione /robots.txt e ne osserva la disponibilità HTTP, la presenza e la direttiva Sitemap: nel body acquisito. Non è un parser completo delle regole Allow/Disallow né una verifica del crawling reale.
Come leggere il risultato
Finding
robots.txt non trovato: il finding robots_txt.not_found è prodotto soltanto quando la risposta HTTP è 404.
Osservazioni
Una direttiva Sitemap può essere osservata oppure non osservata quando il body è conclusivo. Uno status HTTP diverso da 404, incluso 410, 5xx o 429, è un esito inatteso da investigare: non equivale automaticamente a un file mancante.
Evidenza inconclusiva
Fetch non disponibile, failure di richiesta o body troncato rendono l'evidenza inconclusiva. In particolare, con body troncato non si può concludere che una direttiva Sitemap sia assente.
Che cosa può aiutare a rivedere
Un file e una direttiva Sitemap osservati possono essere segnali tecnici utili da rivedere nella configurazione del sito. La loro presenza non dimostra crawling, indicizzazione, ranking o comportamento reale di un crawler.
Azione consigliata
- HTTP 404: se il sito intende pubblicare un robots.txt, ripristinalo o pubblicalo nella root corretta.
- Direttiva Sitemap non osservata: aggiungila solo se appropriata per la configurazione del sito e se l'assenza è stata valutata con body conclusivo.
- Status inatteso o failure: verifica server, proxy, WAF o regole di accesso con il proprietario o l'hosting; non trattarlo come file assente senza altra evidenza.
Cosa il controllo non può concludere
TrustyRunner non può confermare crawl effettivo, indicizzazione, ranking, citation, comportamento di ogni crawler, completezza o qualità semantica del file. La presenza del file non rende automaticamente il sito crawlable.
Cosa può verificare una nuova scansione
Una nuova scansione può riverificare presenza e raggiungibilità di /robots.txt e la presenza osservabile di Sitemap: nella nuova coverage. Non può confermare il comportamento dei motori di ricerca.