广告联盟网
标题:
怎么不让google和yahoo抓我的网站
[打印本页]
作者:
xltest0501
时间:
2007-6-12
标题:
怎么不让google和yahoo抓我的网站
怎么不让google和yahoo抓我的网站
作者:
春风得意
时间:
2007-6-12
什么意思啊？没看明白！
作者:
xltest0501
时间:
2007-6-12
不让他的蜘蛛在我网站上来爬
作者:
try876
时间:
2007-6-12
编辑网站的robot.txt
作者:
xltest0501
时间:
2007-6-12
要改成什么样子就不能访问了。<br /><br />yahoo和google
作者:
zilongzzn
时间:
2007-6-12
robot.txt
作者:
speed
时间:
2007-6-12
建立个robots.txt<br />加入：<br /><br />User-agent: * <br />Disallow: /<br /><br />*代表所有都不能爬，把*改成baiduspider 代表给baidu爬。User-agent: * 只能有1个。
作者:
martinyin
时间:
2007-6-12
建立个robots.txt，里面写上：我爱李彦宏。<br />这样，YAHOO和GG就不会抓你了，但是百度会拼命抓你。
作者:
comeshanshan
时间:
2007-6-12
为什么不让呀!
作者:
UnforgiveN
时间:
2007-6-12
<br><br><div class="msgbody"><div class="msgheader">QUOTE:</div><div class="msgborder">原帖由 <i>speed</i> 于 2007-6-12 17:59 发表 <a href="http://club.adsenser.org/redirect.php?goto=findpost&pid=244894&ptid=33932" target="_blank"><img src="http://club.adsenser.org/images/common/back.gif" border="0" onload="if(this.width>screen.width*0.7) {this.resized=true; this.width=screen.width*0.7; this.alt='Click here to open new window\nCTRL+Mouse wheel to zoom in/out';}" onmouseover="if(this.width>screen.width*0.7) {this.resized=true; this.width=screen.width*0.7; this.style.cursor='hand'; this.alt='Click here to open new window\nCTRL+Mouse wheel to zoom in/out';}" onclick="if(!this.resized) {return true;} else {window.open('http://club.adsenser.org/images/common/back.gif');}" onmousewheel="return imgzoom(this);" alt="" /></a><br />建立个robots.txt<br />加入：<br /><br />User-agent: * <br />Disallow: /<br /><br />*代表所有都不能爬，把*改成baiduspider 代表给baidu爬。User-agent: * 只能有1个。 </div></div><br>但是那个B度不遵守robot的。。
作者:
UnforgiveN
时间:
2007-6-12
<br><br><div class="msgbody"><div class="msgheader">QUOTE:</div><div class="msgborder">原帖由 <i>martinyin</i> 于 2007-6-12 19:00 发表 <a href="http://club.adsenser.org/redirect.php?goto=findpost&pid=244927&ptid=33932" target="_blank"><img src="http://club.adsenser.org/images/common/back.gif" border="0" onload="if(this.width>screen.width*0.7) {this.resized=true; this.width=screen.width*0.7; this.alt='Click here to open new window\nCTRL+Mouse wheel to zoom in/out';}" onmouseover="if(this.width>screen.width*0.7) {this.resized=true; this.width=screen.width*0.7; this.style.cursor='hand'; this.alt='Click here to open new window\nCTRL+Mouse wheel to zoom in/out';}" onclick="if(!this.resized) {return true;} else {window.open('http://club.adsenser.org/images/common/back.gif');}" onmousewheel="return imgzoom(this);" alt="" /></a><br />建立个robots.txt，里面写上：我爱李彦宏。<br />这样，YAHOO和GG就不会抓你了，但是百度会拼命抓你。 </div></div><br>有才！！
欢迎光临 广告联盟网 (https://ggads.com/)
Powered by Discuz! X3.2