Ottimizzare il file robots.txt per Magento

robots.txt per la SEO di un e-commerce Magento

Il file robots.txt è molto importante per l'indicizzazione del tuo e-commerce Magento.

Tramite questo file è possibile "istruire" corretamente i crawler dei motori di ricerca per una corretta indicizzazione dei file del tuo sito web.

Puoi escludere cartelle, includerne altre e dare ulteriori informazioni per la lettura del sito.

In pratica i benefici ottenibili sono 2:

• Evitare l'indicizzazione di contenuti duplicati;
• Nascondere i file e le cartelle relativi a contenuti "tecnici" (repository .git, cartella admin, etc..)

Ecco un esempio di un file robots.txt per Magento opportunamente commentato:

## IMPOSTAZIONI GENERALI
## Abilita le regole del robots.txt per tutti gli spider dei motori di ricercaUser-agent: *
## Parametro Crawl-delay: il numero di secondi di attesa tra una richiesta e l'altra allo stesso server## Questo parametro è molto utile per ridurre la frequenza delle richieste dei crawler, che talvolta possono creare problemi di traffico al server.Crawl-delay: 30
## Sitemap: inserisci l'indirizzo della sitemap del tuo sito webSitemap: http://www.miosito.com/sitemap/sitemap.xml
## IMPOSTAZIONI PER SITI IN SVILUPPO
## Non navigare le cartelle dei repository (CVS, snv, .git, etc..), gli ambienti di sviluppo (phpStorm, Netbeans, etc..) e i dump del db (.sql, tgz, etc..)Disallow: /CVSDisallow: /*.svn$Disallow: /*.idea$Disallow: /*.sql$Disallow: /*.tgz$Disallow: /*.git$
## LE IMPOSTAZIONI PRECEDENTI SONO GENERALMENTE VALIDE ANCHE PER ALTRE PIATTAFORME COME JOOMLA, DRUPAL, ETC..

## IMPOSTAZIONI DI MAGENTO

## NON NAVIGARE LA CARTELLA ADMINDisallow: /admin/
## NON NAVIGARE LE CARTELLE DI SISTEMA DI MAGENTODisallow: /app/Disallow: /downloader/Disallow: /errors/Disallow: /includes/Disallow: /lib/Disallow: /pkginfo/Disallow: /shell/Disallow: /var/
## NON NAVIGARE I FILE DI SISTEMA DI MAGENTODisallow: /api.phpDisallow: /cron.phpDisallow: /cron.shDisallow: /error_logDisallow: /get.phpDisallow: /install.phpDisallow: /LICENSE.htmlDisallow: /LICENSE.txtDisallow: /LICENSE_AFL.txtDisallow: /README.txtDisallow: /RELEASE_NOTES.txt
## MIGLIORAMENTI ALLA SEO DI MAGENTO
## NON NAVIGARE LE PAGINE DELLE SOTTOCATEGORIE CHE VENGONO FILTRATE O ORDINATEDisallow: /*?dir*Disallow: /*?dir=descDisallow: /*?dir=ascDisallow: /*?limit=allDisallow: /*?mode*
## NON NAVIGARE IL DUPLICATO DELLA HOME SU INDEX.PHP. QUESTA IMPOSTAZIONE VA INSERITA SOLO SE E' STATA IMPOSTATA L'OTTIMIZZAZIONE SEO DEGLI URL DI MAGENTODisallow: /index.php/
## NON NAVIGARE I LINK CHE CONTENGONO L'ID DI SESSIONEDisallow: /*?SID=
## NON NAVIGARE NELLE CARTELLE Do not crawl checkout and user account pagesDisallow: /checkout/Disallow: /onestepcheckout/Disallow: /customer/Disallow: /customer/account/Disallow: /customer/account/login/
## NON NAVIGARE PAGINE DI RICERCA E PAGINE DEL CATALOGO NON OTTIMIZZATE PER LA SEODisallow: /catalogsearch/Disallow: /catalog/product_compare/Disallow: /catalog/category/view/Disallow: /catalog/product/view/
## IMPOSTAZIONI DEL SERVER
## NON INDICIZZARE FILE E CARTELLE DI SISTEMA DEL SERVERDisallow: /cgi-bin/Disallow: /cleanup.phpDisallow: /apc.phpDisallow: /memcache.phpDisallow: /phpinfo.php 

## NON INDICIZZARE LA PAGINA 404
Disallow: /404/

Per attivare queste opzioni puoi copiare e incollare le istruzioni che trovi qui sopra in un file, nominarlo come robots.txt e inserirlo nella root del tuo sito Magento

Per saperne di più:
http://www.robotstxt.org/