全球主机交流论坛

标题: buyvm超售的秘诀.UKSM, 内存冗余消除,秒杀Linux内核对等机制 KSM [打印本页]

作者: guaku    时间: 2012-4-20 22:44
标题: buyvm超售的秘诀.UKSM, 内存冗余消除,秒杀Linux内核对等机制 KSM
本帖最后由 guaku 于 2012-4-20 22:51 编辑
Linux相同页面合并机制(KSM)使得内存中相同的页面,可以通过修改页表的方式合并成一个。通常这个机制被应用在有众多虚拟机(目前仅支持 KVM)或者有很多冗余内存数据的场景(如有很多类似数据工作集的并行科学计算)里面。但是,目前它的实现方式仍然比较简陋,UKSM的出现,彻底消除了KSM原本局限,真正使得这项技术能被更多的普通用户使用。具体的来说,它有以下的亮点(原本KSM不具有的特性):

全系统扫描,用户透明。

UKSM现在自动扫描所有用户进程的匿名映射内存区域(包括malloc分配出来的内存)。不需要修改一行应用程序的源码,使用起来超级简单,安装完成以 后,重启使用本站补丁的内核即可(有部分已编译的二进制内核供下载)。起它几乎什么都不需要做(除非你想通过sysfs调整其内部参数)。


不无谓地浪费CPU时间。

UKSM自动探测并分析得出包含丰富冗余数据的区域,并在其上全速工作。对于没有太多冗余甚至彻底没有冗余数据的区域,只进行速度非常低(通常情况下,用top看,CPU占用率为0)的采样扫描。而当包含丰富冗余数据的区域出现的时候,它又能非常快速的作出响应。

UKSM能够以极快的速度扫描,并合并冗余数据。

在Intel core 2 Q9300的CPU上,KSM的官方评测其内存合并速度最高在260M/s左右,而实际工作的平均速度在几十M每秒。由于采用了全新的hash算法,相同的硬件环境下面,我们的算法的合并速度最高可达到477MB/sec ∼ 923MB/sec。而对于不包含冗余数据的页面上,UKSM的扫描速度最高是627MB/sec ∼ 2445MB/sec。正因为有如此惊人的速度,全系统扫描才真正成为可能。而对于已有的KVM的冗余消除应用来说,速度上无疑是一个质的的飞跃

抖动区域避免。
UKSM能实时自动地发现不友好的抖动区域,并降低其上的扫描速度,避免在此类区域上浪费时间。




评测地址
http://kerneldedup.org/projects/uksm/benchmarks/
作者: master    时间: 2012-4-20 22:46
学习
作者: VPS评测    时间: 2012-4-20 22:47
提示: 作者被禁止或删除 内容自动屏蔽
作者: guaku    时间: 2012-4-20 22:54
这个就是buyvm使用的方案.....
作者: vowanson    时间: 2012-4-20 23:04
提示: 作者被禁止或删除 内容自动屏蔽
作者: chairo    时间: 2012-4-20 23:14
同5楼...
作者: _____________Cc    时间: 2012-4-20 23:22
vps好像不需要这个
作者: mope007    时间: 2012-4-20 23:23
好厉害~
作者: 有女乃大    时间: 2012-4-20 23:25
官方跟buyvm有什么见情???
作者: windywinter    时间: 2012-4-20 23:25

作者: coo2009    时间: 2012-4-20 23:35
你知道buyvm用这个了?
作者: 誓誓    时间: 2012-4-21 00:30
牛比
作者: lixuguang.xy    时间: 2012-4-21 00:33
人才··
作者: wahyan    时间: 2012-4-21 00:33
学习一下
作者: xianai    时间: 2012-4-21 11:03
有女乃大 发表于 2012-4-20 23:25
官方跟buyvm有什么见情???

只是萍水相逢的关系啊,呵呵,他们老板通过Google搜索找到UKSM项目以后,主动找上门让我给他们定制的 CentOS 6的 openvz + UKSM补丁的内核。开源项目,并没有雇佣关系。
作者: imtu    时间: 2012-4-21 11:05
LS是这个项目的人?
作者: xianai    时间: 2012-4-21 11:22
imtu 发表于 2012-4-21 11:05
LS是这个项目的人?

俺是项目的主人  
作者: xianai    时间: 2012-4-21 11:26
vowanson 发表于 2012-4-20 23:04
如何做到硬盘也是不慢?
来自:全球主机交流论坛 Android客户端

Francisco Dias 只是问我要了UKSM的定制,具体他们服务器的各项参数自然是不可能和我说的哦,
不过你们可以给个KVM虚拟机的优化目标给我,看看我可以办到否?
是不是一般你们都用 dd 测试?如何测的? 达到多少算是比较牛B了,说详细点哈~哈哈
作者: 有女乃大    时间: 2012-4-21 11:46
xianai 发表于 2012-4-21 11:26
Francisco Dias 只是问我要了UKSM的定制,具体他们服务器的各项参数自然是不可能和我说的哦,
不过你们可 ...

dd if=/dev/zero of=test bs=64k count=4k oflag=dsync
一般达到200-300M/s以上就是神级的硬盘读写速度了
作者: domin    时间: 2012-4-21 11:54
不错的技术
作者: lyfeng703    时间: 2012-4-21 11:55
提示: 作者被禁止或删除 内容自动屏蔽
作者: emperor    时间: 2012-4-21 12:03
buyvm技术其实也不怎样!
作者: 判官    时间: 2012-4-21 12:12
提示: 作者被禁止或删除 内容自动屏蔽
作者: xianai    时间: 2012-4-21 12:15
有女乃大 发表于 2012-4-21 11:46
dd if=/dev/zero of=test bs=64k count=4k oflag=dsync
一般达到200-300M/s以上就是神级的硬盘读写速度了 ...

Ok, 回头我试试哈,仅仅采用 内存+普通硬盘的方式(就是不用 SSD)
作者: domin    时间: 2012-4-21 12:17
xianai 发表于 2012-4-21 12:15
Ok, 回头我试试哈,仅仅采用 内存+普通硬盘的方式(就是不用 SSD)

不用内存行不...
作者: houzai    时间: 2012-4-21 12:38
强大
作者: mope007    时间: 2012-4-21 12:46
xianai 发表于 2012-4-21 11:03
只是萍水相逢的关系啊,呵呵,他们老板通过Google搜索找到UKSM项目以后,主动找上门让我给他们定制的 Cen ...

xianai也在loc啊……
作者: ls2829373    时间: 2012-4-21 12:51
哇,好强大
作者: xianai    时间: 2012-4-21 13:11
domin 发表于 2012-4-21 12:17
不用内存行不...

不用加速的措施,那就看你硬盘是不是足够彪悍了
作者: windywinter    时间: 2012-4-21 13:36
xianai 发表于 2012-4-21 11:03
只是萍水相逢的关系啊,呵呵,他们老板通过Google搜索找到UKSM项目以后,主动找上门让我给他们定制的 Cen ...

萍水相逢便是情啊
作者: 飞鸿飘雪    时间: 2012-4-21 13:37
学习了。
作者: 落霞孤鹜    时间: 2012-4-21 13:37
谁能详解一下
作者: vowanson    时间: 2012-4-21 13:46
提示: 作者被禁止或删除 内容自动屏蔽
作者: 有个就好    时间: 2012-4-21 13:51
下奶是个神人?
作者: pmalc    时间: 2012-4-21 14:06
膜拜大神
作者: guaku    时间: 2012-4-21 16:36
落霞孤鹜 发表于 2012-4-21 13:37
谁能详解一下

找xianai...项目人
作者: Kokgog    时间: 2012-4-21 16:37
咩咩,过来围观神人
作者: 狂奔的蜗牛    时间: 2012-4-21 16:49
mark
作者: xiasl    时间: 2012-4-21 17:07
mark
作者: 有个就好    时间: 2012-4-21 18:26
Kokgog 发表于 2012-4-21 16:37
咩咩,过来围观神人

下奶了。。。。
作者: xx2008    时间: 2012-4-21 19:22
太长,我没看,但学习了
作者: dstwhk    时间: 2012-4-21 19:34
厉害!!!
作者: hostccav    时间: 2012-4-21 19:37
学习
作者: 飞鸿飘雪    时间: 2012-4-22 01:21
这个很强悍




欢迎光临 全球主机交流论坛 (https://fd.vvwvv.eu.org/) Powered by Discuz! X3.4