全球主机交流论坛

标题: 好想知道X79的垃圾服务器能不能跑Llama3 70b [打印本页]

作者: lilyhcn1 时间: 2024-4-25 15:31
标题: 好想知道X79的垃圾服务器能不能跑Llama3 70b
自己试了一下llama3 8b的版本，居然7735hs的小主机也能跑起来，而且速度很快。
也试了一下llama3 70b的效果，感觉非常不错。
很想知道要是自己组装个x79的2000块破服务器，能不能跑起来。

作者: huayixin 时间: 2024-4-25 15:32
不是吃显卡么

作者: lilyhcn1 时间: 2024-4-25 15:36

huayixin 发表于 2024-4-25 15:32
不是吃显卡么

这玩意居然是靠cpu算的，我都惊呆了。

作者: skugov 时间: 2024-4-25 15:37
CPU 和显卡都可以，显卡效果好

作者: comet 时间: 2024-4-25 15:40
cpu卡死人。用甲骨文arm试过

作者: lilyhcn1 时间: 2024-4-25 15:42

skugov 发表于 2024-4-25 15:37
CPU 和显卡都可以，显卡效果好

显卡不会用，只会cpu

作者: jekyll 时间: 2024-4-25 16:03
内存够就能跑。
双路X79,满8通道DDR3内存，胜在便宜，但远远比不上GDDR的速度。

作者: yaren 时间: 2024-4-25 16:37
x79可以一战

作者: huayixin 时间: 2024-4-25 16:59

lilyhcn1 发表于 2024-4-25 15:36
这玩意居然是靠cpu算的，我都惊呆了。

我看有人3060 12g 70B跑着很吃力，就放弃了本地测试的念头。

听你这么一说又有兴趣了，不知道手上的x99洋垃圾2666V3 64G能不能一试。

作者: 拼命二郎 时间: 2024-4-25 17:01
看过评测，cpu的确可以跑，但是效率很低，那个测试博主用家用游戏显卡跑问题，秒出结果，用CPU跑，一秒蹦2个字

作者: lilyhcn1 时间: 2024-4-25 17:46
我也有一张3060，能否把这个博主的链接发一下？

欢迎光临全球主机交流论坛 (https://fd.vvwvv.eu.org/)