Generatore di file robots.txt

Strumento per creare il file robots.txt per il controllo degli spider

Posizionamento Su Google

Disponibile nella versione inglese Funziona con Firefox
Informazioni a riguardo:

Wikipedia

Il file robots.txt è una sorta di protocollo utilizzando dai spider web (detti anche Web crawler) per analizzare eventuali restrizioni di analisi delle pagine di un sito internet. Gli spider sono dei software automatici programmati per effettuare ricerche ed indicizzazioni periodiche. Il primo controllo che effettuano è quello di verificare eventuali restrizioni date dal webmaster del sito. Il file robots.txt permette di non dare limitazioni o di limitare alcune aree, che per scelte del webmaster, gli spider non devono assolutamente indicizzare.
Elenco dei bot e degli spider

Fino a quale pagina Googl
Mi è capitato di vedere
e analizzare alcuni refer delle mie

Lo spam di cached.it port
Avete sempre criticato e classificato
Cached.it come un sito di sp

Globalwarming Awareness20
Globalwarming Awareness2007 è la frase
da posizionare.

YouTube e Wikipedia tra i
Google continua a rimanere in
testa nella classifica dei marchi pi

Google Tv
Google tv

La fine del Google Bombin
Da un recente articolo sul blog
ufficiale di Google sembra che si

Non riesci a trovare il n
Hai difficoltà a trovare il nome
per la tua attività ? O

Adsense nei videogiochi
Da un annuncio della CNN sembra
che Google stia per prendere accordi c

Yahoo,nuovo sistema di in
Il nuovo sistema di inserzioni di
Yahoo si sta avvicinando al leader d

Un nuovo formato degli an
E' nato un nuovo progetto pilota
di Google Adsense dove stanno sp

PunBB Home

Cached.it

Navigation

Home Page

Sedo Domain Parking

Turismo

Dal forum

Standards

Strumento per creare il file robots.txt per il controllo degli spider

Posizionamento Su Google