Google info

Tra le statistiche del mio sito trovo sempre degli accessi che vengono così catalogati :
Http Code: 404
Date: Jul 21 21:38:31
Http Version: HTTP/1.1
Size in Bytes: -
Referer: -
Agent: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Sapete cosa è ? Forse google che cerca il mio file robots.txt ?

HTTP Status 404-The requested resource is not available.

se hai la riga del file log mandala

ciao
sergio

Nei log di accesso vedo solo questo :

/robots.txt
Host: 64.62.168.81
Http Code: 404
Date: Jul 26 02:48:51
Http Version: HTTP/1.0 Size in Bytes: -
Referer: -
Agent: Gigabot/2.0

Poi
/robots.txt
Http Code: 404
Date: Jul 26 03:00:25
Http Version: HTTP/1.0 Size in Bytes: -
Referer: -
Agent: Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)

Tutti i motori cercano il file robots.txt ma io ho impostato così : <meta name="robots" content="ALL">

Originalmente inviato da 60Minuti

Nei log di accesso vedo solo questo :

/robots.txt
Host: 64.62.168.81
Http Code: 404
Date: Jul 26 02:48:51
Http Version: HTTP/1.0 Size in Bytes: -
Referer: -
Agent: Gigabot/2.0

Poi
/robots.txt
Http Code: 404
Date: Jul 26 03:00:25
Http Version: HTTP/1.0 Size in Bytes: -
Referer: -
Agent: Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)

Tutti i motori cercano il file robots.txt ma io ho impostato così : <meta name="robots" content="ALL">

fai il robot.txt che è meglio!

Che si mette dentro ?

non credo sia una buona idea il file robots viene usato solo per le esclusioni....

Problabile che sono gli spider di google e yahoo che cercano il file e non lo trovano...

Originalmente inviato da 60Minuti

Che si mette dentro ?

non credo sia una buona idea il file robots viene usato solo per le esclusioni....

Leggi un po' che dice Google a tal proposito:

utilizzate il file robots.txt nel vostro server Web. Tale file indica ai crawler le directory delle quali è possibile eseguire la scansione. Assicuratevi che il file sia aggiornato, in modo da non bloccare involontariamente il crawler Googlebot. Per sapere di più sui programmi automatizzati (robot) e le modalità di controllo degli stessi quando visitano il vostro sito, vi consigliamo di consultare la pagina http://www.robotstxt.org/wc/faq.html (informazioni in lingua inglese);

Fonte: http://www.google.com/webmasters/guidelines.html[sub][/sub]