##################################################### # E4DAI.COM 禁止搜索引擎收录配置文件 # 网址: www.e4dai.com # 文件: ~/robots.txt # 编写: 寧財神℡ # 日期: 2009-08-22 ##################################################### # All robots will spider the domain ##################################################### #限制的搜索引擎的User-Agent代码,*表示允许所有########### User-agent: * Robot-version: 2.0 Crawl-delay: 1 Request-rate: 60/10m #限制不能搜索的目录,Disallow: 为空时禁止开放所有目录#### Disallow: /robots/ Disallow: /blog/ Disallow: /SEOSVC/ Disallow: /1xke/ Disallow: /robots.asp #搜索引擎User-Agent代码对照表######################## # 搜索引擎 User-Agent代码 # AltaVista Scooter # Infoseek Infoseek # Hotbot Slurp # AOL Search Slurp # Excite ArchitextSpider # Google Googlebot # Goto Slurp # Lycos Lycos # MSN MSNBOT # Netscape Googlebot # NorthernLight Gulliver # WebCrawler ArchitextSpider # Iwon Slurp # Fast Fast # DirectHit Grabber # Yahoo Web Pages Googlebot # Looksmart Web Pages Slurp # Baiduspider Baidu