额，淘宝的robots.txt

scand · 发表于 2013-5-15 23:10:24

http://www.taobao.com/robots.txt

http://www.baidu.com/s?wd=taobao

ph4ntasy · 发表于 2013-5-15 23:12:28

百度开始做有啊的时候还是之前就开始了貌似

baby · 发表于 2013-5-15 23:12:53

早在很久以前。。马云就说了。。不被百度收录了

l12ab · 发表于 2013-5-15 23:13:09

百度无视robots

scand · 发表于 2013-5-15 23:14:24

关键是这句：由于该网站的robots.txt文件存在限制指令，系统无法提供该页面的内容描述

zcoo · 发表于 2013-5-15 23:14:29

百度无视robots

34beat · 发表于 2013-5-15 23:14:29

l12ab 发表于 2013-5-15 23:13
百度无视robots

Yahoo Google都這樣的,
你網站太大, 一樣收錄, 反正就是寫住因為rebot.txt限制, 就一樣會給你排上去, 始終你是大網站

rqliang · 发表于 2013-5-15 23:24:29

老马跟老李是仇人

莫桑比特 · 发表于 2013-5-15 23:25:46

百度根据锚文本判断不抓取内容

白小姐 · 发表于 2013-5-15 23:30:28

百度完全有根据robots爬行

这个是故意的

		自动登录	找回密码
密码			注册