很多httpd进程，负载很很高

ballpen · 发表于 2013-10-30 08:04:33

如题，内存不足，卡死，怎么个情况

我心碎不了 · 发表于 2013-10-31 08:57:19

mylawer 发表于 2013-10-31 08:09
我昨天0点把网站日志打开了，今天8点下载的时候就看到日志大小是160M。。。。太恐怖了 ...

站点大了调整抓取压力可能会影响收录，建议还是找个专业运维检查一下吧。

mylawer · 发表于 2013-10-31 08:09:53

我昨天0点把网站日志打开了，今天8点下载的时候就看到日志大小是160M。。。。太恐怖了

mylawer · 发表于 2013-10-31 07:51:47

我心碎不了发表于 2013-10-31 00:36
看apache日志吧，蜘蛛抓取虽然不抓js css 图片乱七八糟的，但是如果你页面是动态，而且数据量够大的话还 ...

我用的是lnmp一键安装包，
VPS：
CPU：Xeon E5606内存配额：2048MB ECC DDR3
硬盘配置：80G SAS硬盘+80G 备份
独享带宽：4M（BGP多线）
IP地址：1个独享IP
操作系统：linux

网站目前日IP5000，PV20000，同时在线人数差不多50-100人。数据库大小800M左右。版本为dx3.1。

已经打开了mem内存缓存。

thymol · 发表于 2013-10-31 04:09:36

提示: 作者被禁止或删除内容自动屏蔽

我心碎不了 · 发表于 2013-10-31 00:36:32

mylawer 发表于 2013-10-30 23:02
这个抓取数正常吗？

看apache日志吧，蜘蛛抓取虽然不抓js css 图片乱七八糟的，但是如果你页面是动态，而且数据量够大的话还是会造成很大负担的，你这里每天是110万次抓取，量不算低，当然如果站大还是加缓存吧。。。

mylawer · 发表于 2013-10-30 23:02:52

我心碎不了发表于 2013-10-30 10:34
我们公司的网站大部分是百度蜘蛛爬的，百度站长工具里添加站点能看到抓取的频率，顺带验证一下是不是蜘蛛 ...

抓取.jpg (31.14 KB, 下载次数: 0)
这个抓取数正常吗？

mylawer · 发表于 2013-10-30 22:51:28

zhaorong65 发表于 2013-10-30 10:35
把top信息和日志贴上看看，要根据这些分析的

我的网站日志太可怕了，刚才刚开，估计明天得上百兆

zhaorong65 · 发表于 2013-10-30 10:35:53

把top信息和日志贴上看看，要根据这些分析的

我心碎不了 · 发表于 2013-10-30 10:34:10

mylawer 发表于 2013-10-30 10:31
对蜘蛛有什么办法？我的网站负载最近也是30+

在线人数明明是40-50人，下面显示上千人 ...

我们公司的网站大部分是百度蜘蛛爬的，百度站长工具里添加站点能看到抓取的频率，顺带验证一下是不是蜘蛛弄得，如果是还有一个选项是压力反馈，能调整抓取的频率~

		自动登录	找回密码
密码			注册

thymol thymol 当前离线积分 5272	13^# 发表于 2013-10-31 04:09:36 \| 只看该作者提示: 作者被禁止或删除内容自动屏蔽
thymol thymol 当前离线积分 5272
	回复举报

很多httpd进程，负载很很高

浏览过的版块