全球主机交流论坛

标题: 额,淘宝的robots.txt [打印本页]

作者: scand    时间: 2013-5-15 23:10
标题: 额,淘宝的robots.txt
http://www.taobao.com/robots.txt



http://www.baidu.com/s?wd=taobao
作者: ph4ntasy    时间: 2013-5-15 23:12
百度开始做有啊的时候还是之前就开始了 貌似
作者: baby    时间: 2013-5-15 23:12
早在很久以前。。马云就说了。。不被百度收录了
作者: l12ab    时间: 2013-5-15 23:13
百度无视robots
作者: scand    时间: 2013-5-15 23:14
关键是这句 : 由于该网站的robots.txt文件存在限制指令,系统无法提供该页面的内容描述  
作者: zcoo    时间: 2013-5-15 23:14
百度无视robots
作者: 34beat    时间: 2013-5-15 23:14
l12ab 发表于 2013-5-15 23:13
百度无视robots

Yahoo Google都這樣的,
你網站太大, 一樣收錄, 反正就是寫住因為rebot.txt限制, 就一樣會給你排上去, 始終你是大網站
作者: rqliang    时间: 2013-5-15 23:24
老马跟老李是仇人
作者: 莫桑比特    时间: 2013-5-15 23:25
百度根据锚文本判断 不抓取内容
作者: 白小姐    时间: 2013-5-15 23:30
百度完全有根据robots爬行

这个是故意的
作者: liceen    时间: 2013-5-15 23:39
他俩早就掐过了
作者: 悟雨    时间: 2013-5-15 23:57

作者: 一灰    时间: 2013-5-16 00:34
不抓取不等于不索引,只是索引库里是空数据,标题由外链的锚文本补充。

这个百度好像早一两年就讨论过了吧?
作者: scand    时间: 2013-5-16 01:07
一灰 发表于 2013-5-16 00:34
不抓取不等于不索引,只是索引库里是空数据,标题由外链的锚文本补充。

这个百度好像早一两年就讨论过了吧 ...

额  我还不晓得呢  
作者: sdgl212    时间: 2013-5-16 09:58
百度无视robots
作者: qy117121    时间: 2013-5-16 09:59
早在很久以前。。马云就说了。。不被百度收录了




欢迎光临 全球主机交流论坛 (https://fd.vvwvv.eu.org/) Powered by Discuz! X3.4