Spider – Crawler – Robot
Uno Spider (o Crawler o Robot ), in ambito SEO, è un software automatico che analizza le risorse della rete internet e ne invia i risultati ai motori di ricerca.
In parole semplici, lo Spider è quel programma “incaricato”, per esempio da Google, di sondare costantemente il Web in cerca di pagine nuove, pagine aggiornate o pagine rimosse per garantire i migliori risultati possibili nella SERP stessa del motore.
googlebot è il nome dello spider di Google, ma esistono anche slurp ( Yahoo ), scooter ( Altavista ), romilda ( Facebook ), ecc.
I WebMaster dispongono di vari tools per “comunicare informazioni” allo spider o per guidarne il funzionamento.
Primo su tutti è sicuramente la Sitemap: la mappa del sito, generalmente in formato .XML, permette allo spider di trovare più facilmente tutte le pagine di un determinato sito.
Altro strumento importante è il file robots.txt con cui si limita volontariamente l’accesso dello spider a determinate aree del proprio sito.