全球主机交流论坛

标题: 额，淘宝的robots.txt [打印本页]

作者: scand 时间: 2013-5-15 23:10
标题: 额，淘宝的robots.txt
http://www.taobao.com/robots.txt

http://www.baidu.com/s?wd=taobao

作者: ph4ntasy 时间: 2013-5-15 23:12
百度开始做有啊的时候还是之前就开始了貌似

作者: baby 时间: 2013-5-15 23:12
早在很久以前。。马云就说了。。不被百度收录了

作者: l12ab 时间: 2013-5-15 23:13
百度无视robots

作者: scand 时间: 2013-5-15 23:14
关键是这句：由于该网站的robots.txt文件存在限制指令，系统无法提供该页面的内容描述

作者: zcoo 时间: 2013-5-15 23:14
百度无视robots

作者: 34beat 时间: 2013-5-15 23:14

l12ab 发表于 2013-5-15 23:13
百度无视robots

Yahoo Google都這樣的,
你網站太大, 一樣收錄, 反正就是寫住因為rebot.txt限制, 就一樣會給你排上去, 始終你是大網站

作者: rqliang 时间: 2013-5-15 23:24
老马跟老李是仇人

作者: 莫桑比特 时间: 2013-5-15 23:25
百度根据锚文本判断不抓取内容

作者: 白小姐 时间: 2013-5-15 23:30
百度完全有根据robots爬行

这个是故意的

作者: liceen 时间: 2013-5-15 23:39
他俩早就掐过了

作者: 悟雨 时间: 2013-5-15 23:57

作者: 一灰 时间: 2013-5-16 00:34
不抓取不等于不索引，只是索引库里是空数据，标题由外链的锚文本补充。

这个百度好像早一两年就讨论过了吧？

作者: scand 时间: 2013-5-16 01:07

一灰发表于 2013-5-16 00:34
不抓取不等于不索引，只是索引库里是空数据，标题由外链的锚文本补充。

这个百度好像早一两年就讨论过了吧 ...

额我还不晓得呢

作者: sdgl212 时间: 2013-5-16 09:58
百度无视robots

作者: qy117121 时间: 2013-5-16 09:59
早在很久以前。。马云就说了。。不被百度收录了

欢迎光临全球主机交流论坛 (https://fd.vvwvv.eu.org/)