Il file robots.txt è un file che fornisce informazioni ai motori di ricerca su quali pagine del sito dovrebbero essere indicizzate o meno. Ecco come scrivere un file robots.txt in ottica SEO:
- Iniziare con la riga “User-agent: *”, che indica che le istruzioni seguenti si applicano a tutti i motori di ricerca.
- Utilizzare la direttiva “Disallow” per specificare le pagine che non si desidera che vengano indicizzate, ad esempio le pagine di login o di amministrazione.
- Utilizzare la direttiva “Allow” per specificare le pagine che si desidera che vengano indicizzate.
- Aggiungere una riga vuota alla fine del file per evitare problemi di formattazione.
Ecco un esempio di file robots.txt ottimizzato per il SEO:
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Allow: /
In questo esempio, tutti i motori di ricerca sono autorizzati a indicizzare tutte le pagine del sito, ad eccezione delle pagine di amministrazione di WordPress. Questo aiuta a proteggere le informazioni sensibili e a concentrare l’indicizzazione su pagine utili per gli utenti e ottimizzate per il SEO.
0 commenti