全球主机交流论坛

 找回密码
 注册

QQ登录

只需一步,快速开始

IP归属甄别会员请立即修改密码
查看: 523|回复: 4
打印 上一主题 下一主题

[疑问] 为何在未设置robots.txt的情况下谷歌搜不到上海人大官网任何内容但Bing正常搜到?

[复制链接]
跳转到指定楼层
1#
发表于 2025-5-17 19:11:20 来自手机 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
搜索 site:www.shrd.gov.cn ,
Google的搜索结果为0
Bing的搜索结果包括了大部分公开内容,https://www.shrd.gov.cn 并未设置robots.txt
2#
发表于 2025-5-17 19:52:04 | 只看该作者
服务器屏蔽了谷歌蜘蛛抓取就行了呗
3#
 楼主| 发表于 2025-5-17 19:55:19 来自手机 | 只看该作者
maro666 发表于 2025-5-17 19:52
服务器屏蔽了谷歌蜘蛛抓取就行了呗

为什么不同时屏蔽掉bing?想不出仅仅屏蔽掉谷歌蜘蛛有啥用
4#
发表于 2025-5-17 21:32:21 来自手机 | 只看该作者
很多政府网站屏蔽境外IP。科学上网时试试看就知道了
5#
 楼主| 发表于 2025-5-17 22:14:06 来自手机 | 只看该作者
swds 发表于 2025-5-17 21:32
很多政府网站屏蔽境外IP。科学上网时试试看就知道了

上海人大网站境外可以正常访问
您需要登录后才可以回帖 登录 | 注册

本版积分规则

Archiver|手机版|小黑屋|全球主机交流论坛

GMT+8, 2025-10-14 01:59 , Processed in 0.096153 second(s), 9 queries , Gzip On, MemCache On.

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表