Indirizziamo gli spider

Ciò che stiamo per osservare pone in risalto quanto sia importante essere nei data base delle directory che, per completarli, aggiungono dati provenienti da motori coi quali hanno accordi (seconda sorgente).
Non sottovalutiamo affatto le directory: migliorano la scalata delle posizioni sui motori che vi fanno riferimento (ad es. Google fa riferimento a Dmoz e quindi essere su Dmoz migliora il posizionamento).

Torniamo ai search engine. Siamo noi a doverci adattare agli spider, ma è anche possibile far adattare i robots alle nostre esigenze.
Se siamo in possesso di un dominio possiamo indirizzarli all'interno del sito creando un file di nome robots.txt: va posto nella root principale (www.nomesito.it/robots.txt) per inserirvi le istruzioni che guidino il ragno
Ecco qualche suggerimento.