Google的爬虫在我的网站上爬了几天了, 一个也没有收录

liushui05

这些是我监控到的数据，郁闷的是爬虫爬了几天了，不收录一个页面

17:54:43,309 INFO  [STDOUT] Mediapartners-Google/2.1
17:54:43,309 INFO  [STDOUT] 66.249.72.78

17:54:46,237 INFO  [STDOUT] Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
17:54:46,237 INFO  [STDOUT] 66.249.72.71

17:54:48,182 INFO  [STDOUT] Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
17:54:48,182 INFO  [STDOUT] 66.249.72.68

17:54:49,810 INFO  [STDOUT] Mediapartners-Google/2.1
17:54:49,811 INFO  [STDOUT] 66.249.72.79

17:54:51,437 INFO  [STDOUT] Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
17:54:51,437 INFO  [STDOUT] 66.249.72.84
.....

zyl0414

很正常，这是做爱之前的调情阶段。

liushui05

搜索引擎爬虫够恶的了，整天爬来爬去，访问的人倒是一般，多半都是搜索引擎爬虫过来的

davidyin

我的结果同你相反。
site:www.xxx.com
的形式结果多

狗狗

在GG上用”site:www.xxx.com *“ 查看比”site:www.xxx.com“查看到的东西要多,所以你用site:.... *看看

liushui05

楼主这些信息是用什么监控到的？  
==========================
我用的是JSP的过滤器机制呀

AppleTree

使用sitemaps

davidyin

spider只是收集数据，还要分析处理数据，作index之类的。需要时间的。

sun

好像爬虫爬过以后一周到一个月才会显示。
搜索数据库里有的，不一定可以搜索的到。百度是这样，估计Google也差不多吧。

sun

楼主这些信息是用什么监控到的？