|
我做的是关于情报垂直搜索的网站,qingbao是域名,可惜 .com .net .cn 都没有了,只有 <a href="http://www.qingbao.org" target="_blank">www.qingbao.org</a> 这个域名还没有被注册,我就就注下了,之后的几个月是不断的调试程序(因为做的是搜索,webserver都是用C自己写的),等到正式上线前,觉得.org还是不太好,将来不好进行商业运作(虽然是刚开始,还要为以后做好计划的,呵呵),还是得有一个.com的域名,就退而求次,选择了<a href="http://www.yanpan.com" target="_blank">www.yanpan.com</a> 这个域名,虽然词义比较生涩,但看起来还是挺顺眼的,网站也叫 《研判情报信息网》了,整个网站目前有两台服务器,其中<a href="http://www.yanpan.com" target="_blank">www.yanpan.com</a> 作为主页的WEB SERVER,在一台服务器上,一个专门提供搜索服务的服务器,域名为 search.yanpan.com ,那个qingbao.org 没啥用了,也顺便解析到 search.yanpan.com 这台机器上,结果噩梦就来了,我是一个搞软件开发的人,不太懂这些SEO之类的知识(通过一段时间的恶补,现在明白一些了,哈哈,欢迎交流交流),google开始收录我的网站了,因为搜索的WEB Server是我自己开发的,通过Socket我能看清每个爬虫的来路请求什么的,呵呵,之后用site:yanpan.com 发现收录10000多篇文章,但是site:qingbao.org 也收录的10000多篇,我还在纳闷呢,google怎么知道qingbao.org呢(后来发现一个好友的网站上还挂着当初<a href="http://www.qingbao.org" target="_blank">www.qingbao.org</a>的友情链接呢),之后过来几天,再用site:qingbao.org 来看一篇都没有了,就说找不到qinbao.org,唉,这个域名被K掉了,site:yanpan.com 也由10000多篇,变成了700多篇,之后是200多篇,之后只有首页1篇了,已经有快两周时间了,完蛋了,两个域名都被K了,看来搞双域名是不行的呀!!!! 可是我真的挺冤枉呀,我确实不是存心作弊呀~~~~<br /><br />前几天,我又看了看百度,结果qingbao.org 收录了39200篇,yanpan.com收录了39200篇,sogou收录了qingbao.org 176000篇,哇塞,我有了前车之鉴,可不能再被K了,我赶快编制程序,呵呵,再有人或虫访问<a href="http://www.qingbao.org" target="_blank">www.qingbao.org</a> 通过http头能够得到,我就返回一个 301(永久重定向) 给他(它),并用search.yanpan.com 替换 <a href="http://www.yanpan.com" target="_blank">www.yanpan.com</a> ,百度的爬虫很聪明,立刻就会访问 search.yanpan.com,sogou的爬虫比较钝,就完事了,也不理会301命令,呵呵~~<br /><br />虽然网站被google K了,不过它的爬虫却一直没走,还在不停的访问呢,希望有一天能解套吧,不知道什么时候了~~~<br /><br />第一次发文,不小心写了这么多,呵呵,真实体会呀,大家共勉,另外加一句广告哈,欢迎大家与我建立友情链接!!!共同发展共同进步,联系方式:QQ:254565!!!! |
|