# robots.txt for Hosin hire 2.0 #By kuhanzhu # 7:58 2009-5-19 # #本文件的作用是有效管理搜索引擎,避免浪费网站流量 #使用说明:禁止某搜索引擎: #User-agent: BadBot #Disallow: / #允许某搜索引擎: #User-agent: BadBot #Disallow: #区别只是一斜杠 # User-Agent: * Allow: / #以下禁止排名爬虫,是否会影响排名kuhanzhu未知,不关心流量者可去掉。 #User-agent: ia_archiver #Disallow: / User-agent:Googlebot Disallow: User-agent:Baiduspider Disallow: #下面这个垃圾不知道是什么 #User-agent:OutfoxBot #Disallow: / #http://lucene.apache.org/nutch/bot.html #User-agent: Nutch #Disallow: / #奇虎 User-agent:QihooBot 1.0 Disallow: User-agent:QihooBot Disallow: #网易有道 User-agent:YodaoBot/1.0 Disallow: User-agent:YodaoBot Disallow: User-agent:YodaoBot 1.0 Disallow: